Cauna debuteerde op achttienjarige leeftijd in de Letse competitie bij JFK Olimps. Na 10 wedstrijden keerde hij terug naar Skonto FC, dat hem uitleende aan JFK Olimps. In januari 2009 werd hij voor zes maanden uitgeleend aan het Engelse Watford. In januari 2011 werd hij voor zes maanden verhuurd aan CSKA Moskou. Hoewel hij slechts drie competitiewedstrijden meespeelde mocht hij zijn handtekening zetten onder een vijfjarig contract. Op 18 oktober 2011 maakte Cauņa zijn eerste doelpunt voor CSKA Moskou, in de groepsfase van de UEFA Champions League tegen het Turkse Trabzonspor.