První zpráva o Rabštejně pochází z r. 1318, a to v souvislosti s tehdejšími feudálními rozbroji v českých zemích. Olomoucký biskup Konrád se tehdy zmocnil s velkou námahou hradu "Rabinstaina" u Uničova a odevzdal jej králi. Pravděpodobně vyrval hrad z rukou některého z přátel Jindřicha z Lipého. Do konce 14. století nemáme o Rabštejně přímých historických zpráv. Jako zcela nepodloženou je nutno odmítnout domněnku, že se Rabštejn stal v první polovině 14. století sídlem loupeživých rytířů a že proto markrabě Jan Jindřich, bratr Karla IV., hrad oblehl, dobyl a loupežnou hordu kázal pověsit na okolních stromech. Další historická zpráva o Rabštejně pochází teprve z roku 1398, kdy markrabě Jošt zastavil Pročkovi z Kunštátu a Bouzova za jeho služby zboží rabštejnské, tehdy již spojené s někdejším panstvím štráleckým, a to hrad Rabštejn, Rýmařov a vsi Jamartice, Ondřejov, Janušov, Rešov, Skály (Hankštejn), Tvrdkov, Nový Malín (Frankštát) a Hraběšice. Posunulo se tedy v té době rabštejnské zboží na Rýmařovsko a Rýmařov sám byl nepochybně jeho nejdůležitější hospodářskou sídelní jednotkou. Není vyloučeno, že známý dobrodruh a válečník Proček zavinil špatnou pověst Rabštejna jako loupežnického sídla, kterou pak tradice posunula o půl století dřív.

Od počátku 15. století Rabštejn často střídal zástavní držitele. Za husitských válek tvořil jakousi protiváhu husitského Sovince a král Zikmund jej dával v zástavu pouze svým věrným přívržencům, z nichž Hynčík Stoš z Albrechtic byl dokonce hejtmanem žoldnéřského vojska města Olomouce. Po Jiříku Stošovi držel Rabštejn zástavou Jindřich z Jenštejna (1464), který prováděl na hradě rozsáhlejší úpravy, neboť mu král na jejich úhradu připsal 100 kop grošů. V 70. letech 15. století získali zástavu Tunklové z Brníčka, kteří ovšem museli o ni svést tuhý boj s dalším zájemcem, Janem Heraltem z Kunštátu, v té době držitelem sousedního sovineckého panství. Za válek českouherských byli oba Tunklové přívrženci krále Jiřího a boje mezi nimi a stoupenci krále Matyáše Korvína neustaly tu ani po míru vratislavském (1474). Naopak hejtman Jiříka Tunkla Matěj Tovačovský podnikal z hradu Rabštejna nájezdy na statky Matyášových stoupenců v blízkém i dalekém okolí (Šumvald, Břevenec, Lukavice).

Na druhé straně Matyášův hejtman Petr Haugvic z Biskupic pobral na Rabštejně a na Hankštejně (nyní Skály) svršky po Čeňkovi Tunklovi a Mikuláš Hrdý z Klokočí poplenil celé rabštejnské panství. Počátkem 16. století získal Rabštejn a celé panství zástavou Petr z Žerotína, pán na Šumperku. A právě za něho dochází k významné změně v dějinách hradu, která předznamenala jeho definitivní zánik. Kolem roku 1520 vystavěl Petr z Žerotína janovický zámek, který se stal novým sídlem panství, nazývaného ještě dlouho do 17. století ze setrvačnosti rabštejnské - někdy též rýmařovské. Není vyloučeno, že vedle okolnosti, že totiž šlo o hrad malý, nepohodlný, vzdálený od hospodářského centra panství, položený uprostřed hlubokých a těžko přístupných lesů, hrála tu roli i okolnost, že patrně za uherských válek a vleklých bojů mezi Matyášovými a Vladislavovými stoupenci byl Rabštejn značně poškozen. Ukazuje na to nepřímo i okolnost, že již roku 1535 je hrad uváděn jako pustý. Jisté je tolik, že vybudováním janovického zámku Rabštejn svou funkci panského sídla definitivně ztratil a stal se pouze obydlím některých panských služebníků, především lesníka. V ocenění panství z roku 1569 se výslovně hovoří o oboře při hradu. Znovu se uvádí Rabštejn jako pustý při kupu dotud zástavního panství Hofmanny z Grünbüchlu roku 1584.

Dlouho však ještě nebyl pustý úplně. Kromě panských služebníků bylo tu i vězení, které ještě po celé 17. století sloužilo vrchnostenské justici. Za sporů mezi městem Rýmařovem a vrchností, reprezentovanou v polovině 17. století janovickým hejtmanem Hassnikem, byl tu častým nedobrovolným hostem i rýmařovský purkmistr. Za třicetileté války byl hrad zřejmě ještě nouzově opraven a opatřen stálou vojenskou posádkou. Proto sloužil v době švédského vpádu jako úkryt nejdůležitějších listin a cenností, a to jak samotné vrchnosti, tak i rýmařovských měšťanů. Zřejmě proto také - jeho vojenský význam vzhledem k odlehlé poloze byl již tehdy nepatrný - se stal obětí švédského útoku. Švédové hrad roku 1645 dobyli a ponechali tu stálou posádku pod vedením jistého Kuklendera, která se stala postrachem širokého dalekého okolí. Teprve po roce, v dubnu 1646, byla císařskými z Rabštejna vypuzena a mnoho Kluklenderových rejtarů bylo pochytáno.

 Naposled se dovídáme o tom, že hrad byl dosud obýván, k roku 1693, kdy tu bydleli panští zřízenci v čele s hajným. Ve zprávě z roku 1759 se o Rabštejnu mluví již jako o tajemném místě, kde je tajný východ z doby švédské okupace, a to z bývalého vězení zločinců. Od poloviny 18. století byl tedy hrad již definitivně pustý. Zdivo pomalu rozebrali jako stavební materiál obyvatelé blízkého Bedřichova a zbytek zkázy hradu dokonal zub času.