Hrad byl založen na konci 13.století v souvislosti s kolonizací oblasti kolem řeky Divoké Orlice. Jeho zakladatelem byl některý příslušník Drslaviců, který tuto kolonizaci prováděl. Původně nevelký hrad byl postaven na vrcholu mohutného skalnatého návrší obtékaného ze tří stran Divokou Orlicí, která na jeho úpatí tvoří velkou smyčku. Původní podobu litického hradu neznáme ale, rozsah původního drslavického hradu se kryl s nynějším horním hradem. Hrad Litice se poprvé připomíná v roce 1304, kdy ho Půta z Potštejna, příslušník rodu Drslaviců, podstoupil králi Václavovi II. výměnou za panství Bor na Horažďovicku.  Před rokem 1316 král Jan Lucemburský zastavil hrad Litice  Jindřichovi mladšímu z Lipé.

 Markrabě Karel sice po roce 1333 zástavu vyplatil, ale král Jan Lucemburský ho vyměnil s pány z Lichtemburka za hrad Lichnici. Poprvé se jako majitel Litic z tohoto roku připomíná v roce 1353 Jindřich řečený též Hynek z Lichtemburka. V roce 1361 hrad náležel Janovi z Lichtemburka zvanému též  Ješek Pykna. V roce 1371 byl hrad Litice již majetkem Bočka z Kunštátu. Jakým způsobem ho získal Boček od Lichtemburků, nelze doložit. Boček z Kunštátu zemřel v roce 1373 a jeho panství, tedy i litický hrad, převzal jeho syn Boček. Tento Boček patřil na konci 14.století k odpůrcům krále Václava IV.. Zemřel roku 1416 a Litice připadly jeho synovi Viktorínovi z Kunštátu a Poděbrad. Viktorín vlastnil taky Náchod a Pardubice, ale za své hlavní sídlo považoval vždy litický hrad.

Od počátku husitské revoluce se stavěl na stranu Husových stoupenců. Byl i blízkým přítelem Jana Žišky z Trocnova. Proto již roku 1421 byly Litice obléhány vojskem slezských knížat stojících na straně Zikmundově. Po Viktorínově smrti roku 1427 zdědil litické panství jeho syn Jiří z Poděbrad a Kunštátu, později český král. Do politického dění vstoupil Jiří z Poděbrad v roce 1434, kdy se již jako příslušník panské jednoty zúčastnil bitvy u Lipan. V roce 1452 byl Jiří zvolen českou šlechtou správcem země a v roce 1458 českým králem. Jiří z Poděbrad přistoupil po roce 1450 k rozsáhlé přestavbě litického hradu. Důvodem přestavby byl pravděpodobně nevelký rozsah původního hradu, ale i to, že hrad byl poškozen při obléhání v roce 1421.

 Cílem přestavby bylo jednak zlepšit opevnění hradu, jednak vybudovat obytné prostory odpovídající nárokům druhé poloviny 15.století. Přestavba hradu byla soudě podle nápisu nad vstupní branou ukončena roku 1468. Celkový ráz, který získal hrad přestavbou za Jiřího z Poděbrad, si zachoval dodnes, i když je ve zříceninách. Nově vybudovaný hrad poprvé posloužil jako pevnost v roce 1469 při vpádu uherského krále Matyáše Korvína do Čech. V roce 1471 po smrti krále Jiřího z Poděbrad zdědili všechna jeho panství Jiříkovi synové. Ti se v roce 1472 o otcovské statky rozdělili, přičemž Litice připadly Bočkovi z Kunštátu. Ten je v roce 1483 podstoupil svému bratrovi knížeti Jindřichovi Minsterberskému. Jindřich se neustalými válkami, které vedl ve Slezsku, zadlužil a musel postupně svá panství prodávat. V roce 1495 prodal hrad Litice se vsí, Vilémovi z Pernštejna.

Za Viléma i dalších Pernštejnů ztratily Litice význam, neboť centrem pernštejnské državy na Divoké Orlici se stal hrad Potštejn. Na liticích v té době bydlelo jen služebnictvo pečující o hradní hospodářství. Jaroslav z Pernštejna byl nucen v roce 1558 pro dluhy prodat litické panství Arnoštovi, falckraběti rýnskému , jenž koupil panství s cílem , aby je co nejvýhodněji zase prodal. Již v témže roce od něho koupil Litice Václav Okrouhlický z Kněnic. Po Václavově smrti v roce 1562 bylo panství prodáno Mikulášovi z Bubna, majiteli nedalekých Přestavlk. Mikuláš z Bubna věnoval získanému panství značnou pozornost. K litickému panství byla připojena druhá polovina městečka Žamberka s pěti dalšími vesnicemi. Podle hradu začal Mikuláš používat i dalšího přídomku, z Litic. Podobně tomu bylo i za Mikulášova syna Jindřicha Jana z Bubna, který se ujal správy panství po dosažení plnoletosti v roce 1627.

 A tak hrad začal pustnout. V roce 1657, kdy panství za nezletilého Jindřichova syna  Františka Adama z Bubnu spravovali Jindřichovi bratři Heřman Šťastný a Kunata Jaroslav z Bubnu , se litický hrad uvádí jako polozbořený. Bývalé obytné budovy, pokud tehdy měly střechu, byly používány jako skladiště. Poslední opravy na hradě provedl v roce 1681 František Adam z Bubnu. A to již v době, kdy se bývalé litické panství nazývá panstvím žambereckým. V průběhu 18.století byl hrad ponechán svému osudu. K opravě zpustlého hradu došlo až v roce 1776 za Antonína Víta z Bubnu. Tehdy byl nově zastřešen severní palác a věž nad pátým patrem byla zakryta nízkou stanovou střechou. Jižní palác byl však ponechán ve zříceninách. V roce 1815 litický hrad se žambereckým panstvím získal Jan Parish.

O údržbu hradu se ani on, ani další Parishové zpočátku příliš nestarali. Teprve v letech 1890-1896 za Oskara Parishe došlo ke konzervaci zdiva. Další konzervace byla provedena v roce 1925 za Karla Parishe.Za tohoto majitele došlo také v letech 1933- 1935 k rekonstrukci hradní zříceniny.Necitlivé doplnění betonem při úpravách v paláci i vybudování šestého betonového patra,byly zničeny architektonické památky. Majetkem Parishů zůstal litický hrad až do roku 1948. V roce 1948 po znárodnění přešel hrad do majetku státu. V souvislosti s opravami bylo v roce 1959 bylo nevhodné betonové šesté patro věže zakryto dřevěným obložením a tak byla vytvořena představa obraného ochozu, kterým věž původně vrcholila. Hrad byl v posledních desetiletích opravován a dnes je přístupný veřejnosti. V jižním paláci je malá historická expozice, přístupná je i věž , z níž je překrásný pohled do údolí řeky. Pozoruhodná je  zejména  první brána s brankou pro pěší, nad níž je v úrovni 1.patra deska s neznámým erbem a tři kamenné reliéfy s lidskými postavami , prostřední zachycuje údajně krále Jiřího z Poděbrad..