Mladost Nemanjina bila je veoma burna. U svojoj oblasti, u koju su spadale Podgorica, Ibar i Rasina do Morave, on je počeo svoje prvo administrativno-političko delovanje. U porodici je postojala tradicija uzajamnog progonjenja i nepoverenja; sablažnjive scene otimanja o vlast bile su na dnevnom redu. Njima je bio zaražen i sam Nemanja. Ambiciozan i bez mnogo obzira on je hteo da preskoči stariju braću. Njegov sin biograf ne krije, da je radi toga, prirodno, bio omrznut od braće i da je izazvao njihov otpor. Nemanja je s početka vodio grkofilsku politiku računajući da će pomoću nje doći pre do uticaja. Tako je dopro glas o njemu i do cara Manojla. Car je, pri svom dolasku u Niš (možda 1162. god.), pozvao Nemanju i da ga ohrabri u tom pravcu bogato ga je obdario, dao mu oblast Dubočicu kod Leskovca kao večnu baštinu i proglasio ga u njoj samovlasnim. Ponovio je, dakle, i s njim donekle ono, što je već ranije probao sa Desom. Car je, uklonivši Desu, a davši Nemanji naročit značaj, svakako hteo da u Srbiji stvori čistu situaciju. U slučaju novih zapleta sa Mađarskom nije hteo da ima neprilika i sa srpske strane.

Mađare je car Manojlo bio sasvim pritesnio. Kraljević Bela morao je živeti u Carigradu, gde su ga i oženili, a Beline zemlje, Dalmacija sa južnom Ugarskom (ispod Velebita), morale su doći pod carigradsku upravu. Mađari su radi toga ogorčeni i spremaju otpor.

Car Manojlo, obavešten o njihovu nezadovoljstvu i unutrašnjim trzavicama, u dva maha upada u Mađarsku, 1163./4. god. God. 1164. uzeo je car jurišem Zemun i poharao čitav Srem. Uz Grke su išli i obavezni odredi Srba. Druga grčka vojska, pod vođstvom Jovana Duke krenula je na zapad, preko Srbije i Bosne na Dalmaciju. Bez velikog otpora Grci su uzeli 57 gradova od Spljeta do Bara. Pokorili su tom prilikom Bosnu i Dalmaciju i naterali ih, da priznaju grčku vrhovnu vlast. U severnoj Dalmaciji postade grčki namesnik Nićifor Halufa, a u južnoj s Dukljom kir Izanacije. Srem i susedne oblasti dođoše pod vlast Kostantina Anđela i Vasilija Tripsiha. Za njihove uprave podigoše se porušene kule zemunske, a utvrdiše se i beogradska gradska platna. Isto tako beše obnovljene utvrde Braničeva i Niša, a Braničevo još i naročito naseljeno.

U ovo vreme u Srbiji se ponovo javlja Desa. Ne znamo kako je otišao iz Carigrada, da li s kakvom carevom dozvolom ili kao begunac, ali u Srbiji on je ponovo protivnik Vizantije. Kad se car spremao da krene na nj, Desa se prepane i zamoli da ga car primi. Manojlo, uvek dosta lakoveran, primi ga; istina, s mnogo prekora ali bez gore štete. Desa mu se doduše zakleo na vernost, ali bez namere da drži obavezu. "Zakleh se jezikom", govori za nj jedan grčki pisac, "ali srce osta bez zakletve". Nemanja je za to vreme bio povučen, i svakako na strani Manojlovoj. Iz tog vremena su njegove zadužbine u Kuršumliji, Sv. Nikola i Bogorodičin Manastir.

Mletačka Republika koja se ranije obraćala za pomoć Vizantiji zbog osvajačke politike Fridriha Barbarosa u severnoj Italiji, poče vidno da menja svoje držanje kad vide Grke kao gospodare Dalmacije. Ona se približi Mađarskoj kao prirodnom savezniku protiv Grka. U isti mah počeli su da rade i među srpskim plemenima, naročito u Raškoj, kako bi ih digli protiv Vizantije. Na novi rat se nije dugo čekalo. Mađari krenuše vojničku akciju već 1166. god., da potisnu Grke iz novodobijenih oblasti. Prve uspehe postigli su u Dalmaciji, gde nije bilo mnogo carskih posada, a potom i u Sremu. Mađarski uspesi s jedne strane, a napredovanje Grka u Italiji, gde su zauzeli važni Jakin s druge, opredeliše Mletke da stupe u otvoren savez s Mađarskom. Car Manojlo, sagledavši opasnost, reši se da celu ovu akciju uguši u zametku. Na Mađarsku krenuše tri vojske, jedna s Dunava, a druge dve čak preko Vlaške i Moldavske, da upanu u srce zemlje, izvodeći jedan dotle neupotrebljavani strateški manevar. Dok je glavna mađarska vojska operisala prema Dunavu, zašle su dve grčke vojske duboko u njihovo područje izazvavši opštu paniku. Mađari biše prisiljeni da preko posrednika mole primirje. Verovatno zbog nekih njihovih preteranih zahteva ne dođe do mira, nego se ratovanje nastavi i cele 1167. god., i to na mađarsku štetu.