Kdy byl hrad založen není písemně doloženo. Usuzuje se však, že jeho zakladateli byli páni z Velhartic, kterým prokazatelně koncem 13.století patřil nedaleký hrad Budětice. Po celou první poloviny 14.století , kdy se stavbou hradu započato, nemáme žádné písemné zmínky ani o zakladateli ani majiteli nemáme žádné písemné zmínky. Poprvé jsou pro nejbližší oblast zmínky v roce 1362 o švihovských z Rýzmberka.

Nejstarší údaj o hradu Rabí je z roku 1380, kdy se něm píše Půta Švihovský. V té době však nejstarší část hradu už stála nejméně 50 let. Kdy a jak získali Rabí Švihovští od Velhartických se neví. Na konci 14. nebo na počátku 15.století bylo Rabí rozšířeno a znovu opevněno a tím se stal nejpevnějším hradů v Čechách. Po roce 1399 zdědil Rabí po svém bratru Půtovi Břeněk Švihovský, který se jako člen jednoty zúčastnil odboje proti králi Václavovi IV. V době husitských válek byl majitelem hradu Rabí už Břeňkův syn Jan, se stalo Rabí útočištěm katolíků a pro svoji pověstnou pevnost i úkrytem cenností z dalekého okolí.

 Husické vojsko pod vedením Jana Žižky z Trocnova dobývalo hrad dvakrát. Poprvé na jaře roku 1420 se hradní posádka vzdala bez boje. Cennosti byly před hradem spáleny a na hranici skončilo sedm kněží. Podruhé husitské vojsko dobývalo Rabí v létě roku 1421. Hrad byl tentokrát dobyt a pro Žižku se stalo obležení osudným, protože zde přišel o druhé oko. Po Janu Rabském zdědil hrad v roce 1450 jeho syn Vilém, nejvyšší komorník Království českého a stoupenec krále Jiřího z Poděbrad. Vilém Rabský zemřel v roce 1479 nebo 1480 a odkázal celé své jmění Půtovi Švihovskému, který se stal v necelých dvaceti letech jedním z nejbohatších velmožů v Čechách. Půta začal s přestavbou hradu , které dokončili jeho synové.

Po smrti Půty v roce 1504 zdědili Rabí jeho dva synové Břetislav a Vilém, kteří ještě do roku 1530 pokračovali v přestavbě.V roce 1549 byli Švihovští nuceni svůj rodový majetek prodat a to Jinřichu Kurcpachovi z Tracheberku. Od roku 1557 Diviš Malovec z Libějovic, od něho pak roku 1559 Vilém z Rožmberka a ten však Rabí prodal v roce 1563 Adamu Chanovskému z Dlouhé vsi.Jeho nástupci o hrad nepečovali a tak byl již na počátku 17.století takřka pustý.Zkázu dovršila třicetiletá válka, kdy Rabí vyplenili Mansfeldovi vojáci.

V roce 1625 po smrti Jana Viléma Chanovského nastal spor o dědictví.Jeden z bratranců Jana Viléma Vilém zdědil půl hradu a statky a druhou polovinu zdědil Jan Karel a Jan Albrecht Chanovský. Oba díly panství spojil až v roku 1694 Jan Vilém mladší a roku 1708 jej prodal pasovskému biskupu kardinálu hraběti Janu Filipu z Lamberka. Ani on a ani jeho nástupci nedokázali zastavit zkázu hradu zastavit. První zabezpečovací práce zde provedl Spolek pro zachování uměleckých, historických a přírodních památek , který roku 1920 dostal hrad od Lemberků darem. Po roce 1945 se stal majetkem hradu československý stát a zařadil jej mezi chráněné objekty. Dnes je to jedna z nejkrásnějších zřícenin u nás a můžete zde obdivovat expozice středověkých kachlů s replikou gotických kachlových kamen a archeologickými nálezy.