Кроме того, в то же время Карл сумел утвердиться на Балканском полуострове, взяв несколько укрепленных пунктов, во главе с Диррахием (Дураццо, Драчем), по восточному побережью Ионийского моря; нагорные албанские племена покорились Карлу, и деспот Эпирский присягнул ему на верность. После этого неаполитанский король стал величать себя государем Албании (regnum Albaniae).

В одном документе он называет себя «Божьей милостью король Сицилии и Албании» (Dei gratia rex Sicilie et Albanie). В одном письме Карл пишет, что албанцы «избрали нас и наших наследников в короли и вечные владыки названного государства» (nos et heredes nostros elegerunt in reges et dominos perpetuos dicti Regni).

Итальянский историк XX века замечает в связи с этим: «Когда деятельность Карла становится лучше изученной и известной, он выступает в истинном свете, как дальний предшественник политической и гражданской независимости албанского народа, которая и в начале XX века кажется мечтой, смутным и неясным устремлением». Но Карл этим не удовлетворился. Он обратился к сербам и болгарам, в которых нашел усердных союзников. Посланники «imperatoris Vulgarorum et regis Servie» появились при его дворе. Множество южных славян стали к нему вступать на службу и переселяться на итальянскую почву. Один русский ученый, хороший знаток итальянских архивов, извлекший из них много сведений о славянах (В. Макушев), писал, что, несмотря на отрывочность сведений, «по ним можно судить о ходе славянских поселений в Южной Италии и о многочисленности славян, стекавшихся со всех сторон югославянского мира на службу Анжуйцев… Славянские поселения в Южной Италии с XIII по XV век постоянно увеличиваются: основываются новые, разрастаются старые». В одном памятнике 1323 г. в Неаполе упоминается «квартал, который называется болгарским» (vicus qui vocatur Bulgarus). Сербские и болгарские послы прибыли для переговоров в Неаполь. Отсюда видно, какая серьезная опасность угрожала Византии со стороны славяно-французских союзников. Более того, Венеция, которая занимала самое важное место в политической, экономической и торговой жизни государства Карла, была с ним в дружеских отношениях и в данный момент поддерживала его империалистическую политику на Востоке. К тому же, низложенный и ослепленный Михаилом VIII последний Никейский император Иоанн IV Ласкарь, бежав из византийской темницы, явился по приглашению Карла к его двору.

Но искусный в политике Карл встретил не менее искусного политика в лице Михаила, направившего главное внимание на папскую курию, которой он обещал соединение церквей. Папа Григорий X охотно пошел навстречу желанию императора, может быть, не столько под влиянием все усиливавшегося могущества Карла, которое также, конечно, могло его устрашать, сколько в силу своего искреннего желания установить церковный мир и единство и получить надежду на освобождение Иерусалима. Конечно, в подобной мирной политике сближения с восточной церковью Григорий X встречал целый ряд препятствий со стороны Карла, мечтавшего о насильственном подчинении императора. Однако, папе удалось убедить Карла отложить на год уже решенный поход на Византию и в это время достигнуть соединения с восточной церковью. Посланцы Михаила Палеолога на собор, который должен был собраться во французском городе Лионе, в полной безопасности прошли по владениям Карла, который снабдил их специальными охранными грамотами и провизией. В 1274 году, в Лионе была оформлена уния между папой и представителями Михаила VIII. Согласно недавно проанализированным документам ватиканских архивов, оформление унии привело в то же самое время к переговорам Григория X и Михаила VIII по поводу нового антитурецкого союза. Кардинал высокого ранга был послан в Константинополь глубокой зимою. Дата и место встречи для личных переговоров папы и императора были немедленно определены: они должны были встретиться в понедельник, на Пасху 1276 года в Бриндизи или Валоне. Однако, в самом начале года, 6 января, папа внезапно скончался и проект этот кончился ничем. Михаил, однако, почувствовал, что у него есть право надеяться на поддержку папы в его планах на отвоевание прежде входивших в состав империи областей Балканского полуострова. Действительно, Михаил открыл наступательные действия против войск Карла и его союзников и одержал над ними крупный успех, так как Карл был отвлечен в это время затруднениями с Генуей.

Однако, после некоторых трений между ним и папами, вызванных Лионской унией, Карл сумел посадить на папский трон в лице француза Мартина IV одного из своих лучших друзей, который, став всецело на сторону политики сицилийского короля, порвал заключенную с Мануилом унию. Затем, между Карлом, титулярным латинским императором и Венецией был в 1281 г. заключен договор «для обратного отвоевания империи Романии, которая находится во владении Палеолога» («ad recuperationem ejusdem Imperii Romaniae, quod detinetur per Paleologum»). Против Византии создалась громадная коалиция: войска из латинских владений на бывшей территории империи, из Италии, из родной Карлу Франции, венецианский флот, папа, сербы и болгары.