První písemná zmínka o hradu Přimdě se vztahuje už roku 1121, kdy zde podle slov kronikáře Kosmy-vystavěli nějací Němci uvnitř hranic českých ve hvozdě, k němuž se jde přes ves Bělou, hrad na strmé skále. Kosma sice uvádí název hradu, ale je nepochybné, že se jedná o Přimdu. Nejmenovaným zakladatelem byl s největší pravděpodobností markrabě sousední severní marky Děpolt II.z Vohburgu, který přibližně v této době stavěl také první kamenný hrad v Chebu a jemuž tehdy patřilo celé Chebsko. Jeho stavební iniciativa byla zřejmě motivována snahou zajistit spojení svých statků na řece Nábě a v Podunají s Chebskem a zabezpečit je před dalšími případnými útoky z Čech. Děpoltovo markrabství bylo totiž krátce před tím roku 1105 zpuštěno českým vojskem knížete Bořivoje II.Ilegální stavba hradu však porušila svrchovanost českého panovníka a vedla tak roku 1121 k vážnému politickému sporu, o kterém nás rovněž informuje Kosmova kronika. Když se kníže Vladislav I. dozvěděl o této provokaci, vzal s sebou tři čety vybraných bojovníků, přepadl znenadání hrad a dobyl ho.A není pochyb, pokračuje Kosmas, že by byl kníže hned dal pověsit všechny Němce v tom hradě zajaté. Kdyby nebyl právě přijel hrabě Albrecht, který se snažil prosbami a svou obratností sobě je zachránil. Prostředníkem mezi Vladislavem I. a Děpoltem byla tehdy významná osobnost, hraběte Albrechta z Bogenu, příbuzný Přemyslovců a jižní soused Vohburgů na Dunaji. Od té boby zůstal hrad Přimda po celý středověk trvalým majetkem českých panovníků, i když byl později často zastavován.
Zmíněný pohraniční konflikt vyvolal nepochybně zvýšený zájem o ochranu zemské hranice a tak už roku 1126 dal kníže Soběslav I. opravit mezi jinými hrady Tachov, Zhořelec také Přimdu, při dobývání patrně poškozenou.Přimda však byla zřejmě už tehdy kamenným hradem. Ze stavební analýzy vyplývá, že nejstarší část hradu, hranolová obytná věž, vznikla už v první polovině 12.století za Vohbergů, jejichž soudobé stavby v Německu, kláštery v Kastlu a Reichenbachu.

Během 12.století se stala Přimda svědkem dramatických událostí souvisejících se zdejším dvojím uvězněním Přemyslovce Soběslava II., syna Soběslava I. a pozdějšího českého knížete.Soběslav II. ustoupil po smrti svého otce roku 1140 nedobrovolně energičtějšímu bratranci Vladislavovi II.v letech 1140-1172, ale v německém exilu se nevzdal svých vladařských nároků a jeho první nucený pobyt na Přimdě v letech 1148-1150 byl výsledkem nezdařeného pokusu o převrat roku 1147. Dynastické rozpory byly pro německého císaře Fridricha I. Barbarossu vítanou záminkou k ovlivňování vnitřních záležitostí české země. Proto také s císařovým souhlasem mohli Soběslavovi přátelé roku 1150 přepadnout Přimdu, zavraždit jejího purkrabího Bernarta a osvobodit Soběslava, který se stal v následujících letech vhodným prostředníkem k nátlaku a vydírání knížete Vladislava II. Když však po dohodě mezi pražským knížetem a císařem roku 1156 ztratil Soběslav II. podporu císařského dvora, pokusil se o samostatnou akci. Roku 1161 se sice zmocnil Olomouce, ale při následujících jednáních v Praze byl důvěřivý Soběslav II. zajat a uvězněn opět na Přimdě, kde strávil 12 let pod ostrým dohledem purkrabího Kunráta Šturma. Teprve nová mezinárodní situace přinesla Soběslavovi II. svobodu. Roku 1172 abdikoval Vladislav II. ve prospěch svého syna Bedřicha. Císař však viděl povolnějšího pretendenta v Soběslavovi a tak byl teprve nyní ochoten vyslyšet prosby jeho bratra Oldřicha, který žil na císařském dvoře. Soběslav II. se konečně roku 1173 stal českým knížetem. Jeho bývalý věznitel , purkrabí Šturm, krutě doplatil na změnu trůnu.Byl převezen do Prahy a tam na rozkaz knížete zmrzačen katem. Soběslav II. zvaný pro své antipatie k aristokracii hanlivě zvaný selský kníže, se dlouho z trůnu netěšil. Roku 1178, kdy jeho samostatnější politika vzbudila nevoli mocného Fridricha Barbarossy, byl svržen.

Přimda byla v následujícím století v roce 1249 dočasným vězením jiného Přemyslovce, pozdějšího krále Přemysla Okakara II., který zorganizoval neúspěšnou vzpouru proti svému otci Václavovi I. Z významnějších královských purkrabí se na Přimdě připomínají v letech 1250-1263 Ratmír ze Skviřína, předek pánů ze Švamberka a jeho nástupce z let 1263-1269 Vilém ze Žinkov.
Před rokem 1318 Přimdu poprvé zastavil král Jan Lucemburský a to jednomu z nejmocnějších feudálů, Vilémovi Zajíci z Valdeka. Roku 1319 vytáhl Vilém z Přimdy do Bavor hájit královy zájmy, ale z výpravy se už živ nevrátil. Král sice Přimdu od jeho synů vyplatil roku 1320, ale brzy potom ji zastavil svému věřiteli Jakubovi Frenclínovi, staroměstskému rychtáři z patricijské rodiny.Volfinovců, který byl roku 1331 jmenován dokonce královským podkomořím.

Přimdecké zboží tehdy zahrnovalo hrad s purkrabským úřadem, několik vesnic a osadu v podhradí s farním kostelem, který získala od krále Jana Lucemburského roku 1331 výsady tržního městečka. Existovala zde také celní stanice.Přidemští manové, okolní feudální vazalové, kteří chránili ze svých tvrzí exponovanou hranici, podléhali rovněž purkrabímu a měli na Přimdě svůj manský soud.Patrně v této době došlo ke gotickému rozšíření starého hradu. Zpráva z roku 1336 uvádí, že prostranství kolem hradní věže bylo už uzavřeno kamennými hradbami s dřevěným podsebitím.

Napětí v říši a nepřátelství mezi Ludvíkem Bavorem a českým králem Janem Lucemburským vedlo na jaře roku 1336 k neúspěšnému pokusu o dobytí důležité pohraniční pevnosti Přimdy. Posádka se ubránila, i když purkrabí Frenclín byl v té době se stovkou ozbrojenců s králem v Rakousku, ale městečko s podhradím vyhořelo.Jakub Frenclín zůstal zástavním držitelem Přimdy nejméně do roku 1341. Mladý Janův syn Karel, tehdy ještě správce království, vyplatil roku 1344 Přimdu ze zástavy a zařadil ji mezi hrady , které měly zůstat v přímém královském držení.Ale jeho syn Václav IV. otcovu vůli porušil a roku 1394 Přimdu zastavil nejprve Jindřichovi z Rožmberka a roku 1395 na více než deset let Oldřichu Zajícovi z Házmburka.Oldřich Zajíc měl většinu svého majetku v severozápadních Čechách, tak se souhlasem krále vyměnil roku 1406 s bratry Boreši z Rýzmbruka Přimdu za Andělskou Horu u Karlových Varů.

Nový majitelé využili nejistoty a zmatků na sklonku Václavovy vlády k loupení, v kterém proslul přímdecký purkrabí Tisto. Když však nešetřil ani královský majetek, byla proti nim vyslána trestná výprava v čele s královským podkomořím Janem z Lestkova, který na začátku roku 1416 nenadálým útokem obsadil městečko, hradu se však královští nezmocnili.Ani třicet ozbrojenců z družiny pánů z Rýzmberka zajatých v podhradí bylo později v Praze pověšeno. Odpor Rýzmberků definitivně zlomila až druhá výprava v roce 1418 , při které purkrabí Tisto vzdal královským obléhatelům. Ztráta Přimdy donutila Boreše z Rýzmberka ke smíru s králem. Jejich přimdecké zboží bylo zastaveno Mikuláši Chudému z Lobkovic s podmínkou, že napříště bude hrad královskému vojsku vždy otevřen.
Na začátku husitství roku 1420, vrátil Mikuláš z Lobkovic Přimdu novému králi Zikmundovi, který zapsal hrad i s purkrabstvím svému věrnému přívrženci Jindřichovi Žitovi z Jivjan. Od té doby byla Přimda mocnou oporou katolické strany na přístupové cestě do Čech. Jindřich Žito pomáhal v roce 1427 při obraně Tachova, po jeho dobytí byl husity zajat, ale asi se mu podařilo uprchnout. Do konce husitství jej zastupovali na Přimdě synové Lvík a Petr. Roku 1429 husité Přimdu krátce obléhali, ale silná střelba z hradu je donutila k ústupu, jen městečko vzalo při tom zasvé. Jindřich Žito se na Přimdu vrátil a připomíná se tu purkrabí v letech 1434-1437. Roku 1439 potvrdil král Albrecht II. Habsburský Žitovým synům Zikmundovy zápisy a připsal jim 500 kop grošů za věrnost v těžkých dobách.

Lvík z Jivjan přivedl zástavní právo roku 1454 na Jana ze Švamberka , což potvrdil téhož roku i král Ladislav. Přimda zůstala od té doby v zástavním držení Švamberků až do roku 1592.Po smrti Jana ze Švamberka roku 1460 vládli na Přimdě dočasně bratři jeho vdovy Hedviky ze Švamberka Lev a Protiva z Rožmitálu, přívrženci krále Jiřího z Poděbrad, kteří zde vytvořili opěrný bod pro poděbradskou stranu. Asi v roce 1468 odevzdali oba Rožmitálové hrad Janovu synovi Zdeňkovi ze Švamberka, kterého byli do té doby poručníky. Král Vladislav II. potvrdil roku 1475 novému držiteli jeho nároky zároveň s příspěvkem na opravu hradu.Za něho byl hradní areál rozšířen o jižní, hradbami opevněné předhradí, dolní hrad.Zdeněk ze Švamberka držel Přimdu ještě roku 1518, po něm, až do své smrti roku 1529 jeho syn Mikuláš.

Za vdovy po Mikulášovi Anny, rozené ze Zakšova, začínají v roce 1532 první švamberské nesnáze s přimdeckými Chody, kteří měli již od dob Karla IV. značné výhody a úlevy a proto kladli znevolňovacím tendencím vrchnosti zvlášť tuhý odpor, zejména v otázce roboty. Napětí se nezměnilo ani po roce 1540, kdy nejstarší z Mikulášových synů Adam dosáhl plnoletosti. Přestože byla Přimda tehdy značně zchátralá, zachovala si svůj význam jako strategický opěrný bod i jako ochrana celního přechodu a proto Ferdinand I. vyhověl v roce 1545 Adamově žádosti o výpomoc při opravě připsáním 800 kop grošů míšeňských. Tehdy byly provedeny na hradě některé menší úpravy věže , nový vchod v přízemí jižní zdi, renesanční vyzdívka oken ve východním průčelí a opevnění a většina dřevěných hospodářských budov.

Při dělení přimdeckého panství roku 1548 si Adam ze Švamberka ponechal horní hrad a část vesnic i městečko Stráž, zbytek dostal mladší bratr Jindřich, který obdržel dolní hrad, několik vesnic a městečko Přimdu. Oba bratři byli u krále Ferdinanda I. dobře zapsáni už od roku 1547, kdy se postavili proti stavovskému povstání a proto neměla být Přimda vyplacena do konce jejich života.
Vrchnostní neobývaný hrad chátral a mnoho nepomohla ani další císařská dotace ve výší 1000 kop grošů míšeňských v roce 1579. Byly provedeny jen některé drobné opravy, zvláště věže hrozící sesutím, která byla proto zajištěna pilířem na severovýchodní straně a novým krovem.Zároveň se vyhrocoval spor mezi přimdeckými Chody a vrchností.Chodové odmítali robotovat, stěžovali si na omezování lovu a sběru dřeva, na nucený odběr piva, poukazovali i na zanedbávanou údržbu hradu. Ještě roku 1555 komorní soud přimdeckého obyvatelstva vůči vrchnosti zastal už roku 1567 se nový císař Maxmilián II.postavil na stranu Švamberků, i když bral jistý ohled na chodská práva. V roce 1592 , dva roky po smrti Adama ze Švamberka, končí téměř stopadesátileté panství Švamberků na přimdeckém zboží.Přimda byla přes nechuť švamberských dědiců královskou komorou vyplacena a téhož roku se ujal správy majetku královský hejtman Teofil Lvovický ze Lvovic. Teprve nyní se ukázala zchátralost hradu, kterou havarijní stav zachytil roku 1592 ve své zprávě pro královského prokurátora komorník dvorských desk Jan Meltzok Jesenický.

Opravy by si však vyžádaly mimořádné náklady a protože finanční tíseň císařského dvora nutila Rudolfa II. rozprodávat výhodně královská zboží, došlo roku 1596 k rozprodeji přimdeckého panství.Část koupila vdova po Adamovi ze Švamberka Kryzelda, rozená z Lobkovic, městečko Stráž se vykoupilo samo a hrad koupila přimdecká obec, která se ovšem tak zadlužila , že ji roku 1601 prodala komora komisaři pomezních cel německému šlechtici Ondřeji Lidlovi z Lidlova.Lidl bydlel už v městečku a měl v otázce poddanství s přímdeckými četné neshody, které pokračovaly i po jeho smrti roku 1613 za vdovy Barbory, rozené ze Štamberka a syna Maxmiliána. Po Bílé hoře byla Přimda Maxmiliánovi Lidlovi z Lidlova pro jeho účast na stavovském povstání z let 1618-1620 komfiskována. V roce 1621 ji česká komora postoupila bavorskému plukovníkovi Timonovi Lindelovi a v držení jeho rodiny od roku 1658 dědičně zůstalo přimdecké panství do roku 1675. Tehdy je koupil od plukovníkova syna Jiřího Maxmiliána Lindela hrabě Jan Václav Novohradský, který vytvořil na místě staršího přimdeckého panství novou pozemkovou državu se sídlem ve Velkých Dvorcích. Hrad Přimda, bývalé centrum panství, byl tehdy už neobydlenou zříceninou.

Celek věže se zachoval až do roku 1711, kdy došlo následkem úderu blesku k sesutí jihozápadního, nejvíce počasí vystaveného nároží. Zbytky věže byly částečně zajištěny opravou v roce 1923.

Zřícenina hradu Přimda, kde se nedávno prováděli a provádějí zajišťovací práce, byl pro svou historickou i architektonickou hodnotu prohlášen za národní kulturní památku

Při své návštěvě dbejte zvýšené opatrnosti, v roce 1989 zde došlo k tragédii, kdy se zřítila část zdiva a smrtelně zranila chlapce, který tady byl na školním výletě.