Mađarski kralj Karlo Robert, koji se od ranije spremao protiv Srba, naišao je, za vreme tih Dušanovih operacija na jugu, da je za nj najpogodniji momenat, da vaspostavi mađarsku vlast u severnim oblastima Srbije. S toga je s velikom vojskom krenuo preko Dunava. Na glas o tom pošao je Dušan protiv njega sa svojim Srbima i jednim delom grčkih četa, koje mu je dao car Andronik kao saveznik. Iz Žiče, gde se obavestio o mađarskom kretanju, pošao je Dušan na neprijatelja, koji je na glas o dolasku njegove snažne vojske počeo naglo uzmicati i gušajući se bežati preko Save, sa grdnim gubicima. Čitava ova borba vodila se od proleća do leta 1335. god. i završila se potiskivanjem Mađara sa područja Srbije. U njihovim rukama ostali su samo neki tvrdi gradovi kao Beograd, Golubac i mačvanski grad.

U ovo vreme pada i jedna zanimljiva i vrlo važna epizoda iz porodičnog života Dušanova. Njegov brak s kraljicom Jelenom nije imao dece; oko 1336. god. radilo se na tom da se on rastavi. Između Dušana i austrijskog vojvode Otona vođeni su 1336. god. pregovori, da se Otonova sinovica Jelisaveta, kći nemačkog kralja Fridriha Lepog, uda za Dušana. Austriski poslanici došli su bili tog proleća u Srbiju, putujući morem od Istre do Kotora. Izgleda da je kao posrednik u toj stvari služio vitez Palman, zapovednik nemačkih najamnika u Srbiji. Mlada Jelisaveta, koja nije bila pitana za pristanak, zgrozila se od pomisli da biva gurnuta negde u nepoznat svet, u jednu varvarsku zemlju na istoku, za jednog kralja tuđe vere i već ženjena, i sva usplahirena ona se teško razbolela i umrla još te jeseni. S njom je sahranjena jedna intimna sentimentalna tragedija, vezana za jednu našu historisku ličnost, neobična i po postanku i po vezama i po svojim upola mističkim posledicama. Kad je kraljica Jelena bila obaveštena o tim planovima Dušanovim, ona se požurila da rodi, i to baš sina, i da tako umiri Dušana. I doista, u zimu 1336. ili početkom 1337. god. Jelena je, na sumnjiv način, dobila svog jedinog sina Uroša i tako učvrstila svoj položaj na dvoru.

Grci su 1336. god. proširili svoje posede na zapadu, zauzevši Tesaliju, u kojoj beše umro poslednji grčki dinasta Stevan Gavrilopul. Dušan se za to vreme nalazio na jugu svoje države i u Radovištu se sastao s grčkim carem kad se taj vraćao iz Tesalije. Tom prilikom poznao se i s grčkim vojvodom Jovanom Kantakuzenom. Izvesna pitanja na zapadnom delu Balkanskog Poluostrva behu tad postala prilično aktuelna. U Albaniji se spremao neki pokret protiv Srba, a Grci su, dobivši Tesaliju, hteli da dođu i u posed Epira, gde, isto tako, beše nestalo gospodara. Zajednička akcija ili bar neukrštanje interesa na toj strani činilo se, da bi bilo od koristi i po Dušana i po Andronika.

Napuljski kralj Robert beše 22. maja 1335. god. zatražio od arbanaških poglavica, da polože zakletvu novom knezu dračkom Karlu, pošto je umro njegov otac a njihov dotadašnji gospodar, Jovan. Do godine, on je uzeo za svog kapelana i savetnika fra Dominika Topiju, člana jedne od najuglednijih albanskih porodica. Da je to činio s namerom da albanske prvake odbije od Dušana i privuče sebi, vidi se jasno po spletkama koje su naskoro nastale. 19. avgusta 1336. uputio je Kralj Robert jedno pismo albanskim poglavicama Dušanove oblasti, u kom je izražavao svoje zadovoljstvo, što oni pokazuju spremnost da se odmetnu od svog gospodara i obećavao im na proleće veću vojničku akciju. Dotle, njihova je zadaća imala biti, da kao pčele pribiraju u svoje kolo ostale poglavice, a on im upućuje za sva obaveštenja svoje poverenike Jovana Sarda, koji je s njima već pregovarao, i Korada Kapuanca. U sam Drač, radi boljeg uspeha cele stvari, imao je poći ili sam knez Karlo ili njegov mlađi brat Lodoviko. Doista, te godine javili su se u Albaniji ozbiljni nemiri oko Berata, Kanine i Klisure; ali, kao što se vidi, ne u oblasti srpskoj, nego u vizantiskoj. Sve te pokrete pokušao je da preseče car Andronik, koji beše pošao da osvaja Epir, pa uz put napao i kaznio pobunjena albanska plemena. U prvi mah car je dobio Epir bez borbe, ali kad se on udaljio razvila se propaganda za samostalnu epirsku državu, koju naročito pomagahu zapadni protivnici Vizantije. Kad ustanci uspeše da proteraju vizantiske vlasti i da zauzmu Artu, krenu Andronik po drugi put na zapad i uvede red, 1340. god.

U to vreme kralj Dušan je bio teško bolestan. Sa bolešću došla je i jedna kriza malodušnosti. Zabrinut radi aktivnosti protivnika on je tražio naslona kod Mlečana i bio gotov na velike usluge i obaveze prema njima. Mlečani su mu trebali u prvom redu radi njihove flote, koja bi imala da onemogući vojničke prevoze iz južne Italije u Albaniju. Dušan je obećavao Mlečanima, u junu 1340. god., svoje pomoćne čete u jačini od 500 ljudi, i to ne samo u susedstvu Srbije, nego i u samoj Lombardiji. U velikom času opasnosti on bi lično došao na čelu svoje vojske. Mleci su, sem vojničke pomoći, trebali da obezbede sigurno sklonište Dušanu i njegovoj porodici u slučaju nevolje. Mlečani su, na taj poziv, uvrstili kralja i njegovu porodicu u svoje građane, ali se nisu odlučili ni na kakve obaveze konkretnije vrste. Dušanu se jedno vreme činilo da stvari idu protiv njega, i da on ne može, ovako bolestan, da ih okrene na bolje. Vizantiski car postigao je poslednjih godina lepe uspehe i pripojio Carevini dve važne oblasti, Epir i Tesaliju. U Albaniji se javio pokret protiv Srba. Anžujska kuća tu i u Mađarskoj radi protiv njega i ima uza se bosanskog bana Stepana II. U Maćedoniji, u oblasti srpske države, vojvoda Hrelja, jedan od najmoćnijih velikaša, izneverava Dušana i prilazi Grcima. Predao im je svoja tri grada, s važnom Strumicom i za to dobio titulu ćesara.

Ali, naskoro dođe nenadan preokret. Grčki car Andronik III, koji je pokazivao aktivnost jače energije i koji je Dušanu mogao zadati dosta brige i spremiti mnogo prepona, umre još mlad 15. juna 1341., od bolesti koju je zadobio vojujući po Epiru. S njim leže u grob poslednja nada Vizantije. Građanski ratovi, koji su nastali iza njegove smrti, istrošiše i ono malo snage što beše ostalo i doveli su zemlju bukvalno do ruba propasti. Andronikov sin i naslednik Jovan bio je još maloletan. S toga mu kao savladara postaviše očeva prijatelja i proslavljenog vojskovođu Jovana Kantakuzena. Ali, protiv Kantakuzena, koji je bio svojevoljan i pokazivao sklonosti da ne samo održi u svojoj ruci svu vlast do careva punoletstva, nego da je obezbedi za sebe i za svoju porodicu i posle toga, diže se carica majka, Ana, poreklom Talijanka, i sama vrlo ambiciozna i veoma lična. Borba između njene i Kantakuzenove stranke izbi brzo i uze domalo opak oblik.