Název Pecka patřil hoře, než tu tu byl postaven hrad, na počátku 14. stojetí, když tu pan Budivoj z Pecky (r. 132 vládl. Roku 1365  pak páni Pecky tři bratří, Hereš, Mutina a Jan, kteří se potom rozdělili. Hereš,obdařil v roce 1371 oltář v kostele Peckovském a zemřel před rokem 1387.  Jan Pecka z Pecky, který měl hrad a městečko za díl, obdržel i díl Mutinův darováním královským, a vyskytuje se jako patron kostela zdejšího v letech 1385-1399 sám a roku 1401 se svým synem Budivojem. Ten byl ženatý s Bolkou (z Lemberka ?) a připomíná se do roku 1417, kdežto se s ním také Ratibor a Vácslav z Pecky, snad bratří jeho.

     Od roku 1407 je hrad v držení  Jareka ze Železnice  z Pecky, Erbu orlice a to roku 1399 při jednotě panské. Roku 1411 učinil štědré nadání klášteru Jablonskému na záduší všeho rodu Lemberského, z něhož také po matce své pocházel, a Buzka z Pecky a jeho manželky. Roku 1417 daroval ještě s jinými 16 kop platu v Bukovině.  Roku 1426je v držení pánem na Verdeku.  Zemřel r. 1434 po vánocích.
Vaněk z Pecky, Jarkův syn, od roku 1434 má v držení po otci Pecku a Semily. Roku 1440 byl přítomen na  krajském sjezdu v Čáslavi. Až do roku 1463 se připomíná, poslední mužský potomek z rodiny Peckovských z pecky. Dědičkou panství Peckovského stala se Kateřina z Pecky, snad dcera Vaňkova, která byla vdána za pana Protivu z Rožmitála a jemu Pecky postoupila. Roku 1468 má pan Protiva v držení Pecky i Semil. Avšak když pan Protiva zemřel (roku 1473 , převzal  Pecku bratr jeho Lev z Rožmitála. Potom prodal Lev hrad Pecku s panstvím Mikuláši mladšímu Hořickému z Hořic.

     Tento pán býval hofmistrem krále Jiřího, potom purkrabí kraje Hradeckého, později nejvyšším písařem. Známý je jako horlivý přívrženec strany podobojí a proto je pokládán  „za věrného a upřímného Čecha.“ Na vojnu Loketskou vypravil roku 1505 sedm pěších a vůz, a do kostela Peckovského daroval roku 1509 zvon. Zemřel roku 1515 dne 16. prosince a pochován je v kostele Týnském v Praze. Následoval po něm  Vilém Hořický z Hořic (roku 1516, jenž býval dvořenínem na králově dvoře v Budíně. Ještě téhož roku nabyl Pecky Mikuláš Libák z Radovesic, král. prokurátor, který zemřel před rokem 1524. Avšak již roku 1524 seděl na Pecce Jindřich Kutnaur Z Kutnova.Byl ženatý s Eliškou z Běšin, býval purkrabí kraje Hradeckého, táhl roku 1526 proti Turkům a odkázal svůj majetek roku 1526 dne 23. července  Zikmundovi z Košíně a Piramu Kapounovi ze Svojkova.

     Jan zemřel roku 1542 dne 11. září. Synové jeho Hašek, Jiřík, Vilém a jiní bratří Litoborští z Chlumu,  prodali zbytek panství Peckovského i s hradem a zboží Novoveské (roku 1543, 23. října) Jindřichu Škopkovi z Bílých Otradovic za 8750 kop

     Jindřich Škopek byl ženatý s Hedvikou z Hořiněvsi, s níž měl syna Jana. Tent byl již roku 1551 svéprávným, když obdržel od krále mocný list, a oženil se potom s Markétou z Doubravan, s níž měl syna Karla. Po smrti  své manželky pojal Annu, dceru Petra Holovouského z Holovous, s níž měl syny Petra a Adama a dceru Kunku. Za Maxmiliana II. byl radou a na Pecce prý mnoho stavěl. Zdá se, že starý hrad málo výstavný rozšířil a teprve jeho synové  stavbu hradu dokončili. . Zemřel téhož roku. Dcera , Kuna, se vdala roku 1591 dne 9. ledna za Zdeňka Bořka Dohalského z Dohalic, synové pak, z nichž nejmladší byl ještě roku 1597 pod poručenství , učinili roku 1594 dne 14. června rozdíl o statky otcovské. Karel dostal  polovinu hradu Pecky , Nový dvůr, mlýny Jechovský a Fantovský v Nové vsi, polovinu městečka.

Roku 1603 dne 12. května se vdala Barbora za slavného českého pána Kryštofa Haranta z Polžic  Následujícího roku dne 26. srpna porodila Barbora dcerku  Rozina Alžběta. Roku 1607 dne 10. července  zemřela paní Barbora, která čekala další dítě. Oženil se sice po třetí r. 1609, 16. listopadu v domě Lobkovském s třetí manželkou svou Annou Saloménou  Roku 1610  se mu narodil na Sosni syn Jan Vilém, kterému byl císař Rudolf kmotrem. Roku 1612, 19. listopadu prodal Adam Škopek paní Saloméně  svůj díl hradu Pecky s panstvím za 36.000 kop., tak že nyní rozdělení zámku mezi dvě rodiny přestalo, protože polovice patřila Harantovi a polovice jeho manželce.
Kryštof Harant byl pán bohatýrský a ctnostný, jehož heslem bylo: Virtus ut sol micat, srdce upřímného, šlechetného a dobrého.

     Kryštof Harant býval ve dvorských a zemských službách, za služby byl povýšen  do stavu panského, které  bylo za přímluvu císaře Rudolfa II. roku 1603. Největší slávu však získal  cestopisy ze svých cest. Roku 1598 dne 2. dubna vyjel z Čech s panem Heřmanem Černínem z Chuděnic, jel pak do Benátek,  na ostrovy Zakynthos, Krétu a Kypr do Svaté země.

     Ač byl horlivý katolík, přestoupil přece po roku 1617 k víře podobojí  ze ctižádostivosti, dílem přemlouván . Roku 1621 dne 23. února přijel na Pecku vojenský oddíl   Albrechta z Valdšteina a zajali Kryštofa. .Byl odsouzen a  dne 21. června na Staroměstském náměstí mečem popraven. Před smrtí  naříkal, že mnoho zemí projel, ve velikých nebezpečenstvích byl, za kolik dní chleba nejedl, pískem se jednou zasypal, ale ze všeho mu milý pán Bůh pomohl, až teprve ve vlasti potupnou smrtí zemřít musí

      Polovice Pecky prodána dne 1. listopadu roku 1622 ovdovělé Anně Saloméně. Nezachovala se podlé poslední vůle Harantovy, nýbrž přestoupila nejen sama k víře katolické.. Léta 1625 se vdala  za Heřmana Černína z Chuděnic, který býval Harantovi tovaryšem na jeho cestách. Zemřela teprve roku 1637. Ještě než se vdala podruhé, prodala roku 1624 panství Albrechtovi z Valdšteina za 130.000 kop, nikoliv dobrovolně, nýbrž z donucení.

     Kníže připojil Pecku ke knížectví Frydlantskému, dal odtud dvůr Rašína Novou ves a Uhlíře osobám šlechtickým pod léno, zámek pak Pecku s městečkem a vsi Lhotu.  Roku 1824 dne 13. dubna prodáno panství  veřejnou dražbou a koupil jej kníže Ferdinand z Trautmansdorfu, jehož rodu s panstvím Kumburským posud náleží.

     Hrad mezitím se nacházel ještě v dosti dobrém stavu.  Zvoditý most již byl chatrný dal převor. P. Diviš Müller roku 1710 zbořit a na jeho místě postavit most nový.Starý palác byl zbořen, protože  potřebovali kamení k vystavění dvou domů v městečku. Ostatní části byly sice pod střechou, ale když roku 1813 střecha východního domu silnou vichřicí spadla, nebyla už opravena. Ještě však stál západní dům, v němž bydlel nějaký úřední sluha, a dvě světnice u věže. Ale i ty vzaly brzo zkázu. Roku 1830 dne 31. července začalo v městečku hořet a také i Pecka.  Tak zůstaly jen zmíněné dvě světnice, útulek dotčené stařeny, posledního člověka, který na Pecce bydlel.

Dnes je opravené jen jedno křídlo hradu,kde se také konají i svatební obřady.