Zřícenina hradu Břecštejn zaujme na první pohled svou kompaktností a výraznou rudohnědou barvou. První zpráva o vzniku Bčecštejna pochází z poloviny 15. století, kdy v manských deskách je uváděn majitelem Mikuláš Zilvar. Hrad byl vybudován již dříve jeho otcem Janem I.,m ve 20. letech 15. století. V souvislosti se vznikem Břecštejna je uváděno, že na tomto místě kdysi stával zaniklý hrádek Stein (Kámen), o němž jsou zmínky z roku 1336, spojené s Otto Lepide.

Břecštejn byl vybudován na strmé slepencové kře, proto nemohl být příliš rozsáhlý. Ze západní strany byl těžko přístupný, kde vysoká skalní stěna poskytovala potřebnou ochranu. Oproti tomu východní a částečně jihovýchodní stěna tak výhodná nebyla. Proto byl vybudován vnitřní a vnější val s příkopem, který je ještě nyní znatelný. Z hlediska stavebně fortifikačního patří mezi hrady tzv. slezského typu, kde výstavba hradních objektů tvoří jediný celek společně s obvodovou zdí. V horní části byl hrad pravděpodobně dřevěný. Podle této dřevěné části je usuzován také jeho první název Břecštejn, počeštěním německého Brettstein, tedy Prkenný hrad.

Břecštejn od jeho založení až do roku 1622 vlastní významný rod Zilvarů. Posledním majitelem byl Adam III., který byl aktivní v národním odboji proti Habsburkům. Po nešťastné bitvě na Bílé hoře byl 5.11.1622 odsouzen ke zbavení majetku a vyhnán ze země. Od roku 1623 se jako majitel uvádí Albrecht z Valdštejna, který v roce 1627 předal panství plukovníku Danielu Hebronovi. V letech 1638-1675 vlastní Břecštejn polský šlechtic Jakub Weyhler, v letech 1675-1789 pak na hradě hospodaří Schwarzenbergové.

V roce 1790 se Břecštejn dostal společně s panstvím do vlastnictví velkoprůmyslníka Jana Františka Theera, který současně získal šlechtický predikát "Ze Silberšteina". Tento plátenický baron dal v roce 1794 hrad romanticky upravit a stavebně zajistit. Na místě paláce a věže postavil osmiboký altán, který zde byl viditelný ještě v roce 1969. V tomto období se Břecštejn stal vyhledávaným místem pro honoraci z okolních měst. Dalším vlastníkem byl od roku 1868 Hugo Wihard, továrník z Libavy, poslední soukromým majitelem byl od roku 1916 Friedrich Reimann. Pozdějším předválečným nájemncem hradu byl Wenzel Reis. Ten byl zároveň i nájemcem hospody pod hradem a ve snaze přilákat hosty se rozhodl pro velmi originální atrakci. Pro pobavení hostů zde instaloval kapelu z vycpaných veverk. Jeho proslulá "veverčí kapela" se dostala i na pohlednice. Okolní bukové lesy zajišťovaly stálý přísun těchto muzikantů.

Hrad v roce 1833 navštívil Karel Hynek Mácha a namaloval obrázek Břecštejna.

Nedaleko hradu je i chalupa, kde trávil svůj čas dramatik a český prezident Václav Havel a kde dne 18.12.2011 zemřel