Kdysi zde na pískovcové terase stával hrad Rohozec,bohužel jak vypadal neznáme.Doba vzniku hradu a jeho zakladatel nejsou bezbečně známi, protože jméno přídomku mělo hned několik členů rodu Markvarticů na konci 13. a začátkem 14.století. Podle A.Sedláčka by zakladatelem hradu mohl být Jaroslav z Ralska, který se připomíná do roku 1289. Jeho syn Havel se už psal z Rohozce a to stejně jako jeho syn Jaroslav , doloženo v roce 1322. Další J.V.Šimák zese pokládá za zakladatele Rohozce až zmíněného Havla,, taky řečeného Ryba, který se v písemných pramenech objevuje v letech 1316-1322. Z dalších držitelů Rohozce jsou známi páni z Turgova a to v letech 1356-1371 a asi pravděpodobně od roku 1374 Markvart z Vartemberka, který byl přísedící zemského soudu.Protože svůj spor s lužickými městy řešil násilím, dopustil se tak porušení zemského míru. Tak král Václav IV. proti němu vyhlásil v roce 1390 vojenskou hotovost. Jeho hrady Rohozec, Zbiroh a Žleby byly v průběhu tažení dobyty. Markvart byl zajat a hrady i majetek zabrán pro královskou komoru. Markvart byl později propuštěn, ale v červnu 1392 umírá.O osudu Rohozce v dalších letech není nic známo, neví se ani jak byl poškozen po dobývání v roce 1390. Až v roce 1417 byl jeho majitelem Jan z Michalovic, také řečený Kruhlata, který náležel ke stoupencům císaře Zikmunda.

Za něho v roce 1424 dobyl Jan Žiška z Trocnova město Turnov, ale není známo , že by se boje nějak dotkly hradu Rozozce. Janův syn Jindřich, připomínaný v pranenech v letech 1439-1468 , podporoval aktivně Jiřího z Poděbrad. V roce 1468 stál v čele jeho vojska, které se postavilo na odpor oddílům jednoty zelenohorské a Lužičanů kteří přitáhly 1.června k Turnovu a 4.června se ho zmocnily. V boji byli Lužičané a jejich spojenci poraženi, ale Jindřich Kruhlata z Michalovic byl těžce raněn a za několi měsíců umírá. Tím rod Michaloviců vymírá po meči a jako dědictví jej získává Jindřichova sestra Magdaléma a její manžel Jan Tovačovský z Cimburka. Po jeho srti v roce 1483 zdědila majetek jeho druhá manželka Johana z Krajku, která se pak provdala podruhé za nejvyššího komorníka Jana ze Šelmberka, který umírá v roce 1508. Johanka umírá v roce 1531, ale za ní došlo v letech 1513-1516 k přestavbě Rohozce v honosný pozdně gotický zámek, který dokončil její bratr Konrád z Krajku. Ten zde sídliltaké, protože v roce 1513 získal zápisem část majetku své sestry. Ví se, že na počátku 16.století stál na jihovýchodní straně nádvoří starý hradní palác orientovaný k severu, kde byl původně vchod do hradu. Za Krajířů z Krajku bylo postaveno severní křídlo pro Konráda.

Vchod z nynější zahrady byl zazděn a od něho na západ bylo postaveno celé nové křídlo. Těmito všemi změnami a úpravami z původního hradu Rohozce vlastně nic nezůstalo.Krajířové z Krajku byli pány Rohozce do roku 1534, kdy zámek od Volfa staršího Krajíře z Krajku koupil Jan z Vartemberka. Tem zemřel v roku 1543 a rohozec zdědil jeho syn Adam z Vartemberka, který byl významným účastníkem stavovského odboje proti králi Ferdinandu I. v letech 1546-1547, přišel po potlačení povstání o většinu svých statků i o Rohozec.Tak se stal Rohozec již podruhé majetkem koruny, ale byl jim dloho. Adam z Vartemberka roku 1555 vykoupil Rohozec, Skálu/Hrubá Skála/ a Turnov. Jeho smrtí v roce 1564 začalo období rodiných sporů mezi jeho potomky.Ze tří manželství zanechal po sobě čtyři syny, kteří se navzájem nenáviděli a dva starší synové Jan a Kryštof, žili zároveň v nepřátelství se svou macechou Alenou z Martinic, které odepírali dědictví.

První léta po otcově smrti spravoval panství nejstarší Jan. K rozdělení majetku došlo až v roce 1565. Rohozec dostal Kryštof, nebyl ale spokojen a rozepře mezi bratry trvaly dál.Po Kryštofově smrti v roce 1584 trvaly rodinné tahanice mei jeho mldašími bratry Karlem, Jaroslaven a V¨vdovou po Kryštofovi Eliškou z Donína, která nějakou dobu Rohozec držela.Po dlohých jednáních však v roce 1593 získal Rohozec Karel z Vartemberka.Za Karla došlo kolem roku 1600 ke třetí přestavbě zámku v renesančím slohu.Po Karlově smrti v roce 1612 pokračovaly spory Vartemberků mezi jeho syny Janem Jiřím a Jindřichem Otou.Majitelém Rohozce byl Jan Jiří, který za stavovského povstání v letech 1618-1620 smýšlel víc německy než česky. Stál na straně Ferdinanda II., ale později se přiklonil na stranu Fridricha Falckého.Po bělohorské porážce stavů Jan Jiří z Vartemberka učinil pokání a slíbil věrnost Ferdinandu II. a sháněl přímluvce. Nakonec byl v roce 1622 odsouzen ke konfiskaci veškerého jmění . Panství Rohozec koupil roku 1623 Albrecht z Valdštejna, který je dal v léno svému plukovníkovi Mikuláši Desfoursovi z Mont a Athienville, který za to zůstal věrný císaři a získal jej do dědičného vlastnictví.Desfoursové drželi Hrubý Rohozec až do roku 1945. Za nich došlo na zámku ke dvěma stavebním změnám. První byla v roce 1675 z popudu Marie Polyxeny ze Šenfeldu. Poslední značně rozsáhlá úprava na Hrubém Rohozci pochází z roku 1822 a byla ve slohu pseudogotickém.Po roce 1945 spravoval zámek stát a objekt byl nějaký čas nevyužit. Proslulá zbrojnice byla z části přestěhována na zámek Frýdlant i část původního vybavení přešlo do jiných památkových objektů. Po roce 1948 byly na Hrubém Rohozci umístěny sbírky kopií antických soch a část z původních ukázek drobných předmětů z období antiky.Rod Desfoursů se už několik let soudí se státem o navrácení majetku.