Hrad Potštejn býval nejmohutnějším a nejpevnějším hradem v celém Podorlicku. Hrad založil koncem 13.století Procek z rodu Drslavců, pocházejících z Plzeňska, kteří v povodí Divoké Orlice prováděli rozsáhlou kolonizaci. Poprvé je Potštejn připomínán v roce 1287 a pak  roku 1311, když byl za krátké a chaotické vlády krále Jindřicha Korunanského ve sporech pánů s pražskými měšťany zabit Procek z Potštejna. Prockův syn Mikuláš  z Potštejna ze msty zavraždil bohatého a vlivného pražského měšťana Peregrina Puše, za což byl z rozkazu krále  Jana Lucemburského uvězněn a roku 1312 potupně pokutován. Za nových bojů o českou korunu mezi  Janem Lucemburským a vévodou rakouským Fridrichem Sličným se Mikuláš z Potštejna roku 1317 připojil k protivníkům krále Jana Lucemburského.

Později Mikuláš z Potštejna mstil domnělou křivdu, napadal statky královských stoupenců, zneklidňoval široké okolí a zejména přepadal německé kupecké karavany. Moravský markrabí Karel/později Karel IV./ tehdy i správce země , vytáhl v roce 1338 proti Mikulášovi,  dobyl jeho hrad Choceň i řadu dalších tvrzí. Mikuláš z Potštejna se královské moci sice pokořil, ale vzápětí výboje obnovil. V nové vojenské výpravě roku 1339 Karel po devítinedělním obléhání Potštejn dobyl a hrad pobořil. Mikuláš zahynul pod troskami podkopané věže. Ačkoliv odbojníkovo zboží mělo podle zemského práva propadnout panovníkovi, Karel vrátil roku 1341 jeho většinu Mikulášovým dědicům a konfiskoval pouze městečko Choceň s příslušenstvím a potštejnský hrad.

Vzhledem k nesmírnému strategickému významu Potštejna v systému tehdejší zemské obrany Karel IV. hrad v letech 1355-1359 obnovil. Roku 1355 jmenoval potštejnským purkrabím panského stavu Půtu z Častolovic a pověřil ho zřejmě i řízením stavby. Protože hrad potřeboval i hospodářské zázemí, koupil Karel IV. roku 1356 od Jana z Potštejna celé panství a roku 1358 od Jana z Vartenberka a Veselí blíže neznámá práva k Potštejnu. V této kupní smlouvě je také první písemná zpráva o městečku Potštejnu, tehdy zvaném Potštejnek. V dalších letech se Potštejn již připomíná jako královské zboží v držení různých zástavních pánů. Okolo let 1371 až 1376 byl zde zástavním držitelem opavský kníže Bolek, po něm leslavský biskup Jan, dále knížata opolská Bolek, Jindřich, Bernard, Ladislav a těšínský kníže Přemek. Když král Václav IV. vyplácel ze zástavy všechny komorní statky, vyplatil v letech 1390-1397 i Potštejn.Vykoupený Potštejn král Václav IV. podstoupil roku 1395 Jindřichu Lacembokovi z Chlumu, Husovu průvodci do Kostnice.

 Lacembok zápisem z roku 1396 slíbil králi Václavu IV. , že Potštejn opět vrátí, kdykoli mu bude nařízeno. Roku 1398 zastavil král Václav Iv. hrady Potštejn a Bezděz se všemi městečky a vesnicemi moravskému markraběti Prokopovi, za něhož byl hrad roku 1399 bezvýsledně dobýván vojsky panské jednoty, vedenými litomyšlským biskupem Janem, Bočkem z Kunštátu a Smilem Flaškou z Rychmburka. Po smrti markraběte Prokopa roku 1405 vrátil král Václav IV. Potštejn opět Jindřichu Lacembokovi z Chlumu. V letech 1410-1425 byl hrad v držení královny Žofie, manželky Václava IV. po jejíž smrti roku 1425 připadl králi Zikmundovi. Za husitských válek byl Potštejn od roku 1427 zápisným zbožím Půty mladšího z Častolovic, nesmiřitelného nepřítele husitů, kteří roku 1432 hrad oblehli. Posádka se vzdala až po půlročním obléhání. Po smrti Půty mladšího z Častolovic roku 1435 spravovala Potštejnsko, Kladsko i Minsterbersko jménem sirotků Aničky, Kateřiny a Anny vdova po Půtovi starším Anna, rozená kněžna osvětimská. Ta pak prodala všechny državy Hynku Krušínovi i Lichtemburka. který je na Potštejně poprvé připomínán roku 1422.

 Jeho syn Vilém Krušina roku 1454 postoupil všechny zděděné statky správci a hofmistru Království českého Jiřímu z Poděbrad. Ten zastavil Potštejn náhradou za Kolín husitskému knězi a zakladateli Nového Tábora na Moravě Bedřichu ze Strážnice, který zde roku 1459 zemřel. Roku 1472 zdědil Potštejn Jiříkův syn Boček z Kunštátu a po jeho smrti roku 1496 knížata minsterberská bratři Viktorín, Jindřich starší a Jindřich mladší, jinak Hynek. Kníže Viktorín roku 1472 a kníže Hynek roku 1474 přenechali svá práva na Potštejn knížeti Jindřichu staršímu, který jej ještě před rokem 1478 podstoupil své matce královně Johance, která jej ihned zastavila svému hofmistru Hynkovi z Valdštejna. V následujících letech 1483-1487 vládl Potštejnskem opět kníže Jindřich Minsterberský, který však roku 1488 opět rad zastavil, tentokrát Mikuláši z Klokočova.

 Vyčerpán finančními náklady na válku ve Slezsku proti uherskému králi Matyášovi roku 1488, byl kníže Jindřich Minsterberský nucen prodat okolo roku 1495 panství litické a potštejnské. Na doporučení krále Vladislava II. je koupil jako dědičný majetek Vilém z Pernštejna. Podle zápisu v zemských deskách z roku 1497 zahrnovalo potštejnské panství hrad Potštejn , městečka Kostelec nad Orlicí a Potštejnek a 13 vsí. Za pánů z Pernštejna plnil hrad nejen  funkci obranného a správního střediska rozsáhlého panství, ale stal se především honosným a reprezentačním sídlem renesančních velmožů. Po Vilémovi z Pernštejna zdědil roku 1521 Potštejn jeho syn Vojtěch , který sepsal pro svého hejtmana Albrechta Sudličku z Borovnice směrnice, podle nichž měl hrad i panství spravovat. Zakázal například trestat poddané bitím. Po jeho smrti roku 1534 získal Potštejn jeho bratr Jan z Pernštejna, držitel kladského hrabství. Za jeho i Vojtěchovy vlády nacházeli na pernštejnských statcích útočiště čeští bratří, kteří však byli z Potštejna roku 1547 vypuzeni Janovým synem Jaroslavem z Pernštejna.

 V jeho majetku zůstal Potštejn až do roku 1556, kdy jej musel pro dluhy prodat falckraběti rýnskému, knížeti bavorskému, arcibiskupu solnohradeckému a biskupu pasovskému Arnoštovi, který potštejnské panství rozparceloval na pět dílů a po částech rozprodal. Jeden díl s hradem Potštejnem prodal roku 1558 Václavu Hrzánovi z Harasova a na Jenštejně. Po jeho smrti roku  1570 vládl Potštejnskem za nezletilého sirotka Adama Šťastného Hrzána z Harasova poručík Mikuláš z Vildštejna. Po smrti Adama Šťastného roku 1598 držela Potštejn jeho dcera Anna Kateřina, vdova po Janu Burianu Kaplířovi ze Sulevic, podruhé provdaná za Jana Arnošta z Ullersdorfu, které byl Potštejn roku 1629 pro dluhy prodán císařskému plukovníkovi nizozemského původu, majiteli vambereckého panství Kašparu Grambovi. Po jeho smrti roku 1633 držela panství jeho žena Magdaléna Grambová, která se roku 1640 podruhé provdala za Ottu Jindřicha Štose z Kounic.  Sňatkem s její dcerou Františkou Magdalenou a zakoupením práv jezuitů z Hradce Králové, která získali odkazem Kašpara Gramba, získal roku 1666 Potštejn Václav Záruba z Hustířan.  Zárubové drželi Potštejn do roku 1746, kdy jej Alžběta Zárubová z Hustířan, provdaná za hraběte z Hautois a podruhé za hraběte Cvriani, prodala slezskému emigrantu francouzského původu hraběti Janu Ludvíkovi Harbuvalivi-Chamaré, zkušenému hospodáři a průmyslovému podnikateli.

 Ten zřídil v Potštejně bělidly, která dodávala výrobky až do zámoří. V Potštejně byla roku 1755 rovněž založena přádelní a tkalcovská škola pro poddané ze širokého okolí, která měla zvýšit kvalitu českého plátna. Po smrti Jana Ludvíka roku 1764 se ujal potštejnského statku jeho syn Jan Antonín, který se pokusil i o zavedení hedvábnictví. Dal rovněž roku 1781 postavit naproti zámku lékařský dům pro chirurga, jenž měl vykonávat obvodní službu na území celého velkostatku.Do dějin hradu se Jan Antonín zapsal svými vykopávkami v podzemí zámku. Za obou Chamaré došlo k zásadnímu i ve vývoji městečka Potštejna. V roce 1766 dala v rozvalinách hraběnka Anna Barbora  Hrrbuval de  Chamaré postavit rokokový kostelík svatého Jana Nepomuckého, při něm obydlí pro kapucínské mnichy. Do poloviny 18.století mělo povahu původního podhradí funkcí sloužit potřebám hradu. Když byl hrad jako sídlo v 30. letech 17.století opuštěn, ztrácelo svou úlohu a hospodářský význam. Roku 1851 získal Potštejn sňatkem s Alžbětou Harbuvalovou Prokop Dobřenský z Dobřenic. V majetku Dobřenských zůstal Potštejn až do roku 1945, kdy přešel do vlastnictví státu.

Zřícenina chátrala a byla až do roku 1990 volně přístupná. Od roku 1990 jej převzalo městečko Potštejn a začala dlouhodobá rekonstrukce. V roce 1994 zpřístupněn veřejnosti. Prohlédnout si můžete zbytky hradních budov, kapli.Také je zastřešen kostel.Hrad i dnes má velké kouzlo a určitě je to třeba krásný nedělní výlet.