Hrad Skálu postavil pravděpodobně Hynek z Valdštejna, který je v roce 1353 uváděn jako pán na Skále, jež se tak poprvé objevuje v písemných pramenech. Hynek však z neznámých důvodů  postoupil rad brzy svému bratru Jaroslavovi z Valdštejna na Chlumu, Skále a Lomnici, který je písemně doložen v letech 1358-1362. Podobu původního gotického hradu neznáme.  Jaroslav z Valdštejna zemřel pravděpodobně v roce 1370 a až do roku 1395 není o dalších majitelích hradu jasno. V letech 1407-1408 biskup daroval Skálu litomyšlskému kostelu a v letech 1416-1460 byli majiteli Skály odpůrci husitského hnutí páni z Jenštejna.

V roce 1460 získali Skálu Zajícové z Házmburka. Jan Zajíc se postavil na stranu uherského krále Matyáše Korvína proti Jiřímu z Poděbrad a proto byly v roce 1469 hrady Házmburků obléhány. Skála se vzdala a Jan Zajíc byl nucen požádat krále Jiřího o uzavření dohody. Dalšími majiteli Skály se stali před rokem 1492 Svojanovští z Bozkovic a to nejdříve Jindřich a po jeho smrti v roce 1509 Jan. Od roku 1515  až do roku 1524 postupně skoupil Skalské panství Zikmund ze Smiřic. Ten v roce 1548 umírá a Skálu získává syn Jindřich který pokračuje v přestavbě. Zemřel v roce 1569 a o jeho statky se rozdělily jeho tři synové.

Bez dědiců Jaroslav zemřel v roce 1588 a po něm Albrecht zemřel v roce 1602 a rod Smiřických vymírá po meči. Tento majetek získávají Valdštejnové a po smrti Albrechta z Valdštejna v roce 1634 je novým majitelem Maxmilián z Valdštejna. Až do roku 1648, kdy skončila třicetiletá válka byla Hrubá Skála sužována vpády Švédů i průchody císařských. V roce 1655 umírá Maxmilián z Valdštejna ve Vídni.  Za jeho vnuka Arnošta Josefa měl být zámek Hrubá Skála podle císařského rozkazu z roku 1658 spolu s hrady Velišem a Kosti zbořen, protože v době válek byly hrady opevněné .17. a 18. století nedošlo k žádným podstatným změnám ani úpravám.

 Pouze v roce 1710, když zámek vyhořel, dal jej tehdejší majitel panství František Josef Valdštejn znovu obnovit podle stavu z doby Smiřických. Další oheň v roce 1804 zničil přední dřevěnou část zámku. Po požáru byla postavena z kamene. V roce 1821 je zámek prodán Janu Lexovi z Aehrenthalu , který založil novou šlechtickou linii. V roce 1824 umírá další z rodu byli dobří hospodáři. Po roce 1945 převzal Hrubou Skálu československý stát jako konfiskát , později zámek sloužil jako rekreační zařízení. Byla zde natočená pohádka Bajaja.Dnes je ze zámku hotel.