Kdy byla v Chudenicích postavena tvrz není známo i když se tak stalo snad v první polovině 14.století. Při dělení chudenického panství mezi Černínovy syny Černína a Jana v roce 1380 se však ve vsi připomíná jen kostel a dvůr. První zpráva o tvrzi je až z roku 1564 a to v zápise o rozdělení majetku mezi Jana a Humprechta Černíny z Chudenic.Chudenice tehdy získal Humprecht, hrabě Czernin byl správcem pražského hradu a využil svůj vliv na císaře Rudolfa II., který na jeho žádost v roce 1592 povýšil ves Chudenice na městečko s právem na erb, pečeť a trhy.

O starším vývoji chudenické tvrze se zprávy nedochovaly a jenom popis z roku 1603 uvádí, že byla vystavěná z kamene. Jednalo se však tehdy spíš o renesanční zámek, postavený na místě někdejší tvrze, která měla už tehdy obdélníkový půdorys a na nárožích byla zpevněna baštami. Tak vypadal chudenický zámek podle popisu pořízeného roku 1663 při dělení chudenického panství mezi syny Děpolta z Chudenic, Jana Heřmana a Františka Maymiliána Černíny, kteří si rozdělili i zámek. Půdorys zámku zachycuje plán z roku 1707, kdy se o něm píše jako o značně sešlém. Měl být proto opravena přeměněn na byty pro panské úředníky. Tento záměr totiž souvisel s majetkovým vývojem chudenického panství, které od roku 1666 držel Jan Heřman Černín, který získal i polovinu Františka Maxmiliána. Panství bylo tehdy značně zadluženo a proto byl roku 1678 proveden jeho soudní odhad. Aby tento majetek, s nímž byli spjati nestarší členové rodu, se nedostal do držení jiného majitele, vyplatil panství Humprecht Jan Černín z nedrahovické větve rodu, která měla své rodové sídlo v Jindřichově Hradci a palác v Praze na Hradčanech.Kromě toho měli tehdy Černínové letní sídlo v nedaleké Chocomyšli a později v zámku v Lázni u Chudenic.

Roku 1776 byl chudenický zámek přestavěn podle plánů stavitele Karla Ballinga a upraveno jeho průčelí do nynější podoby. V zámku bydleli úředníci rozsáhlého chudenického panství, ke kterému byly roku 1720 na žádost Františka Jasefa Černína z Chudenic připojeny panství a statky Švihov, Poleň, Únějovice, Kanice, Osvračín, Dobříkov, Mezholezy, Dlažov, Spůle, Slavíkovice, Malá Buková a Smržovice. I když v následujících letech byly některé statky odprodávány, přesto v polovině 19.století náležela k panství dvě městečka a to Chudenice a Švihov a 45 vesnic.

Dnes je zámek jednopatrová budova bez architektonického významu a jenom jeho půdorys zachovává podobu někdejší tvrze.Na průčelním traktu jsou ploché rizality s nízkými trojúhelníkovými štíty, střecha je mansardová. V jeho levé části je průjezd do zámeckého dvora, v jehož severovýchodní části se zachovala část původní tvrze s baštami.Z pozdějších renesančních interiérů se dochoval v prvním patře zejména takzvaný andělský pokoj.V andělském pokoji se zjevil Humprechtovi (právě tomu, co se zasloužil o povýšení vsi na městečko) anděl, který mu předpověděl, že do tří dnů zemře, Humprecht se tak druhého dne rozloučil z rodinou a třetí den zemřel.
Při přepadení tvrze bavorským vojskem, které všechny obyvatele vyvraždilo, se chůva ukryla do komína v černé kuchyni  s miminkem - dědicem pána tvrze. Tak se zachránil potomek pánů tvrze a jelikož bylo celé černé od komína, byl nazván černým - tedy černínem; Tak vzniklo jméno jednoho z nejstarším českých šlechtických rodů, rod Czerninů z Chudenic:-)

Později zámek byl majetkem Mnv, dnes města Chudenice. Je zde pamětní síň národního umělce Jaroslava Kvapila, muzeum Josefa Dobrovského.