První zde stála tvrz a prvními známými držetelibyli páni z Častolovic.Jako první to byl v letech 1345-1397 slavný válečník, zemský soudce a pozdější hejtman Lucemburska a Lužice Půta nestarší z Častolovic. V letech 1413-1415 byl zástavním držitelem Častolovic Jan Puška z Kunštátu, strýc Jiřího z Poděbrad a poněm se panství vrátilo do vlastnictví Půty mladšího z Častolovic.Ten jako nepřítel husitů a stoupenec císaře Zikmunda získal obrovský majetek. Když Půta mladší z Častolovic v roce 1435 v Bratislavě zemřel tak zanechal po sobě tři nezletilé dcery Aničku, Kateřinu a Annu. Po Půtovi krátce vládla vdova po Půtovi starším Anna rozená kněžna osvětimská. Po roce 1435 přenechala minsterbersko, Kladsko, Potštejnsko a další statky Hynku z Lichtemburka.

 Krušinové dlouho Častolovice nedrželi už v roce 1454 je prodal Vilém Krušina z Lichtemburka Jiřímu z Poděbrad. Jiříkův syn kníže Jindřich starší Minsterberský prodal roku 1495 litické panství s Častolovicemi Vilému z Pernštejna. Pernštejnové drželi Častolovice do roku 1556, kdy je od Jaroslava z Pernštejna získal rýnský falckrabě Arnošt, který je už v roce 1559 postoupil Jindřichovi z Regeru a ten opět roku 1570 Albrechtu Bryknarovi z Brukštejna.Od něho získala Častovolice roku 1575 královská komora, která je roku 1577 prodala bratřím Janu,Vilému a Jiřímu z Oppersdorfu.V letech 1625-1630 žil na Častolovicích významný český historik, jezuita Bohuslav Balbín.jeho hostitel Otto z Oppersdorfu byl ordoxní katolík a v letech 1618-1620 se zúčastnil stavovského povstání.

 Po jeho smrti spravoval v letech 1647-1658 častolovické panství jako poručík nezletilých sirotků František Karel Libštejnský z Kolovrat. Oppersdorfové drželi Častolovice do roku 1684, kdy je Jan Rudolf z Oppersdorfu prodal hraběti Tomáši Černínovi z Chudenic. Od něho je koupil roku Adolf Vratislav ze Šternberka, královský místodržitel v Čechách a nejvyšší purkrabí pražský. Vynikající osobnosti z tohoto rodu byl zejména osvícenec a vlastenec hrabě František Josef ze Šternberka, významný numizmatik, který se roku 1796 rozhodující měrou zasloužil o založení Soukromé společnosti vlasteneckých přátel umění, kdy byla zřízena i obrazárna a roku 1800 Akademie výtvarných umění.V roce 1818 měl spolu se svým synovcem hrabětem Kašparem ze Šternberka, věhlasným přírodovědcem.Františka Josefa ze Šternberka navštěvoval na Častolovicích i Josef Dobrovský.Šternberkové v držení častolovického zámku setrvali až do roku 1948.

Z původní tvrze se nedochovalo nic a nový renesanční zámek byl vybudován v letech 1588-1615 za Bedřicha z Oppersdorfu.Původně to byl jednopatrový zámek s malou věžičkou, obklopený zahradami, oborou, ptáčnicí, rybníkem a hospodářskými budovami.V letech 1858-1874 za Jaroslava ze Šternberka byl zámek přestavěn v duchu módního slohu a to tudorské gotiky. Renesanční stavební jádro bylo skryto pod honosnou pseudogotickou fasádou. Na místě hlavní brány vznikl mohutný rizalit s věžičkami zakončenými cimbuřím, které ostatně zdobilo celé průčelí.také byly vybudovány nárožní věžičky, arkýře, balkóny a nová pseudogotická okna.Dnešní podoby zámek nabyl počátkem 20.století za Jaroslavova synovce Leopolda ze Šternberka, kdy došlo k nové radikální přestavbě, která měla zámku vrátit jeho původní renesanční vzhled, zvětšit počet místností a přizpůsobit je požadavkům novodobého bydlení.

Nejprve byla podle návrhu B.Hochberga přestavěna hospodářská budova a po roce 1910 podle projektu vídeňského architekta H. Walchera z Moltherimu hlavní průčelí, odkud byly odstraněny novogotické nánosy. Znovu byly zřízeny původní vikýřové štíty, vstupní rizarit byl přizpůsoben dřívější bráně a zakončen dvoustupňovou osmistěnnou věží. Na fasádě průčelí zámku byla obnovena renesanční sgrafita ze 17.století a pod omítkou jihovýchodního křídla nádvoří byly odkryty vzácné ornamentální a figurální fresky rovněž ze 17.století, které znázorňují příběhy z římských dějin a podobizny římských císařů.

 Hlavním posláním fresek byla glorifikace rodu Šternberků zejména Jaroslava, legendárního vítěze nad Tatary. tyto fresky byly restaurovány v roce 1915 a pak v roce 1961. Zámek byl od roku 1948 majetkem československého státu ve správě Krajského střediska památkové péče a ochrany přírody v Pardubicích. Jeho pravé křídlo sloužilo školským účelům.

V roce 1998 v rámci restituce získala zámek Franziska Diana Sternbergová, uznávaná bytová architekta - její vliv a vkus se příznivě projevují v prostorách zámku. Dnes může obdivovat vkusně upravené interiéry zámku,kde jsou i soukromé sbírky porcelánu a spoustu květin.Kolem zámku je růžový i anglický park , malá zoo, obora pro Daňky bílé.Všem vřele doporučuji navštívit zámek Častolovice a zde strávit krásné chvíle.