Krátce před rokem 1263, kdy se v historických pramenech poprvé připomíná hrad Bor, který založili synové Ratmír a Bohuslav .bohuslav, který žil ještě v roce 1310, se už v letech 1285-1291 začal psát z Boru.Z jeho potomků vynikl Bušek od roku 1312 sudí Plzeňského kraje, který první používal jména Švamberk. Brzy se však rodové sídlo přesunulo na nový hrad Švamberk. Oba hrady držel v letech 1342-1379 Bohuslav ze Švamberka, který založil na borském hradě roku 1361 kapli svatého Vavřince a roku 1369 povýšil osadu u hradu na městečko.
V 60.letech 14.století vybudoval Bohuslav ze Švamberka hradní kapli svatého Vavřince, dnes se naléhající ve východním křídle a přístupnou z nádvoří ústupkovým gotickým lomeným portálem s vloženými pruty.Jinak je dnešní podoba se vzácnými sklípkovými klenbami včetně okna nad portálem výsledkem velké pozdně gotické přestavby hradu. Po Bohuslavově smrti vládli na Boru synové Bohuslav a Bušek, od roku 1401 jejich mladší bratr Jan, který získal do zástavy i královský Tachov. Jan ze Švamberka se však brzy zapletl do sporů s králem Václavem IV, byl uvězněn a roku 1410 v Praze sťat. Dědictví přešlo na mladé syny jeho bratra Bohuslava.Starší Bohuslav ze Švamberka byl roku 1421 zajat husity na Krasíkově, poté přestoupil ke kalichu a stal se jedním z táborských hejtmanů. Padl jako vrchní velitel táborských vojsk roku 1425 na tažení v Rakousku.Mladší bratr Hynek ze Švamberka, hejtman Plzeňského kraje zůstal předním odpůrcem kališníků až do své smrti po roku 1454. Proto také husité Bor roku 1430 oblehli, ale bezvýsledně.Po husitských válkách hrad, sloužící do té doby více vojenským než sídelním účelům, dosti chátral, takže se roku 1454 uváděl jako pustý. V držení Boru se po Hynkovi Krušínovi vystřídal jeho syn Bohuslav, který umírá roku 1490, se svými syny Hynkem a Jindřichem.

Významnou změnu pro zanedbaný hrad přinesl rok 1505, kdy si Hynkovi synové část rozsáhlého dědictví strýce Jindřicha rozdělili.Borské panství s hradem získal Jan ze Švamberka. Začátek jeho vlády nebyl šťastný.Rok 1506 jej Jindřich z Gutštejna násilím odvlekl do Horní Falce jako rukojmí za svého bratra Jana z Gutštejna, který měl být zemským soudem odsouzen pro žhářství k smrti. Následujícího roku se spor urovnal a Jan ze Švamberka byl vyplacen a propuštěn ze zajetí.Žil potom v Boru až do své smrti roku 1533 a stal se zakladatelem borské větve ze Švamberka.Po téměř dvou stech letech se tak stal hrad, který žil ve stínu sídelního Krasíkova opět trvalým obydlím majitele. Janovou zásluhou byl zchátralý objekt přestavěn v pozdně gotickém slohu. Rozsáhlá rekonstrukce výrazně změnila podobu sešlého hradu. Tehdy bylo k hradebním zdem přistavěno východní i západní křídlo. Z té doby se zachovala řada cenných architektonických detailů, zejména polygonální schodišťový šnek vlevo od kaple s dvěma krásnými sedlovými portály s přetínavými pruty. Blíže k velké věži je ve stěně východního křídla další pozdně gotický portálek, tentokrát lomený s přetínavými pruty, tesaný jako ostatní stavební články na hradě ze šedivé žuly. Také vnější průčelí západního křídla si uchovalo historický ráz,zdůrazněný pozdně gotickou bránou s otvory na kladky padajícího mostu.

Průchod byl později zazděn a příkop západním křídlem zasypán. Vpravo od staré brány v jihozápadním rohu hradu hranolové stavební podepřené dvěma pilíři s lomeným přetínavým portálem uprostřed.Pozdně gotická přestavba dodnes zanechala své stopy i v interiérech všech tří zámeckých křídel, kde se nalézá řada sedlových portálků a kamenných profilovaných ostění. Po Janově smrti se o Bor rozdělili synové Bartoloměj, který umírá roku 1560 a Jan Erazim, který umírá v roce 1580.Do roku 1590 tu sídlil Bartolomějův syn Jan Vilém, kterého vystřídali jeho synové Jan Bartoloměj a Jiří Ernreich, za jeho přímluvu udělil císař Rudolf II. v česky psané listině roku 1602 městečku Boru znak s bílou švamberskou labutí ve stříbrné bráně v modrém poli.
Za vlády těchto bratrů probíhaly na rodovém sídle od 80.let 16.století renesanční stavební úpravy, které se protáhly až do prvého desetiletí 17.století. Renesanční úpravy z přelomu 16.a 17.století daly starému panskému sídlu charakter zámku. Nezměnily však základní hmotu stavby, jejich výsledkem byla úprava fasád, střech a věže, výstavba atik v 19.století odstraněných, nová okenní ostění a portály a především rekonstrukce interiérů. Renesanční rustika a ostění se však dosud zachovaly, alespoň částečně, jen na vnějším průčelí západního křídla, ve kterém je také několik renesančně sklenutých místností.

Po smrti Jana Bartoloměje roku 1608 patřilo celé panství Jiřímu Ernreichovi, který umírá roku 1614. Jeho jediný syn Jan Vilém byl poslední borský Švamberk. Tento věrný katolík vlastnil Bor přes celou třicetiletou válku a rok před svou smrtí prodal roku 1650 panství hraběti Zikmundovi Bedřichovi z Gözzenu. Příchod nové německé šlechty urychlil poněmčování zdejší krajiny. Když hrabě z Götzenu roku 1662 zemřel, Vlastnila Bor vdova Isabela Marie, rozená Trčková z Lípy, od roku 1681 ještě nějakou dobu společně se synem Janem Zikmundem.Po Janově smrti roku 1718 koupil Bor hrabě Jan Karel z Götzenu, ale už roku 1720 jej prodal knížeti Dominikovi Markvartovi z Löwensteinu a Wertheimu. Löwenssteinové vytvořili z Boru rodinné fideikomisní panství, které do první poloviny 19.století rozšířili na třicet vesnic. Po Dominikovi Markvartovi je dědil Karel Tomáš v roce 1788 tu vládl jeho synovec Konstantin Dominik. Když roku 1814 zemřel, ujal se panství jeho syn Karel Tomáš Ludvík Löwenstein, který dal v polovině 19.století přestavět staré gotickorenesanční sídlo na novogotický zámek, ve kterém bydlela knížecí rodina až do roku 1945.

Zámek dnes patří městu Bor a probíhá zde velká rekonstruce celého objektu.