Na počátku zde stál hrad Žleby , který byl založen v druhé polovině 13.století Jindřichem z Lichtemburka, ale také je možné, že jeho synem Hynkem. První nepřímá zpráva o existenci hradu je z roku 1289, kdy je Hynek označen jako žlebský pán.po Hynkovi z Lichtemberka vlastnil Žleby v letech 1302-1312 jeho bratr Václav. Po Václavově smrti jeho syn Hynek ze Žlebů, který se naposledy připomíná v roce 1347. V roce 1352, kdy Žleby náležely vdově po Hynkovi Anežce se poprvé výslovně připomíná hrad.V roce 1367 prodala Anežka žlebské panství císaři Karlovi IV.Karel IV. žlebské panství dlouho nevlastnil, postoupil je Markvartovi z Vartemberka, který se na Žlebech poprvé připomíná v roce 1377.Markvart z Vartemberka se ale za vlády krále Václava IV postavil proti králi a Žleby byly v roce 1388 obléhány královským vojskem, dobyty a staly se opět majetkem, který spravoval purkrabí. Ale už v roce 1394 byl úřad purkrabího na Žlebech zrušen a panství připojeno k Lichnici

. V roce 1396 byly Žleby s celým lichnickým panstvím zastaveny Štěpánovi z Opočna a po jeho smrti v roce 1397 přešla zástava bez Lichnice na jeho bratra Jaroslava z Opočna.Jako zástavní držitelé Žlebů se dále vystřídali Jindřich Lacembok z Chlumu v letech 1401-1402,Oldřich z Hradce v letech 1402-1406, Petr Zmrzlík ze Svojšína v letech 1406-1414. Po roce 1414 byla zástava vyplacena a Žleby se opět staly majetkem Václava IV. Na počátku husitských válek byla žlebská hradní posádka na straně Zikmundově, proto v dubnu 1421 hrad oblehlo a dobylo pražské husitské vojsko.

 Hrad byl postoupen Petrovi Zmrzlíkovi ze Svojšína,který umírá v roce 1421, kterého vystřídal Hašek z Valdštejna. Ten patřil k husitské panské jednotě, která hledala cestu dohody se Zikmundem. V roce 1427 hrad znovu oblehlo husitské vojsko a dobylo ho.V roce 1436 král Zikmund dal pobořený hrad s panstvím do zástavy Jiřímu z Dubé a Vízmburka, který ho opravil.Zde se při stavebních pracích projevil vliv pozdní gotiky Jiří z Dubé zemřel v roce 1450 a zástava přešla na Hynka a Jana Hlaváče z Dubé a na Třebechovicích.Pak se zástavní držitelé žlebského panství rychle střídali.Postupně zde vládli Jetřich z Janovic v letech 1456-1469, Jan z Janovic v letech 1469-1483, Jan Špetle z Prudic v letech 1483-1510, Žehušičtí z Nestajova v letech 1510-1522.

 V roce 1522 se zástavním držitelem stal Kuneš Bohdanecký z Hodkova. Ten umírá v roce 1554 a při dělení majetků připalo žlebské panství v roce 1555 Adamovi Bohdaneckému z Hodkova, který umírá v roce 1562. Vdova Eliška, koupila jménem svých nezletilých dětí v roce 1575 panství od císaře Maxmiliána II. do dědičného vlastnictví.Ještě v témže roce prodala Žleby Václavovi Chotouchovskému z Nebovid. Po jeho smrti v roce 1576 zdědil panství syn Jindřich Chotouchovský. Po jeho smrti v roce 1599 syn Václav Chotouchovský prodal v roce 1615 Žleby Heřmanovi Černínovi z Chudenic. V roce 1622 vyměnil Žleby s císařem Ferdinandem II.za panství Andělská Hora na Karlovarsku.Ferdinand II. ještě v témže roce postoupil panství italským důstojníkům bratřím Rudolfovi, Filipovi a Františkovi de Magni.V roce 1625 se stal jediným majetkem panství František de Magni a ten je v roce 1629 prodal Janu Rudolfovi Trčkovi z Lípy. Za některého z uvedených dědičných majitelů Chotouchovských z Nebovid na konci 16. nebo počátku 17.století došlo k přestavbě z pozdně gotického hradu na renesanční zámek.V roce 1636 byly Žleby Trčkům zkonfiskovány a královská komora je prodala Helfriedovi z Meggau, který v roce 1643 umírá.Jeho dcery prodaly panství v roce 1662 Janu Františkovi z Kaisersteina. Vnuk Jan Václav Kaiserstein prodal Žleby Karlu Jáchymovi Bredovi.

Tento nový majitel se zadlužil a v roce 1736 bylo panství prodáno Františkovi Josefovi ze Schönfeldu, ten ale v následujícím roce umírá. Jeho dcera Kateřina se provdala za Jana Adama Auersperka v roce 1746.Když Kateřina zemřela v roce 1754, tak Žleby přebírá její manžel.Po roce 1754 začal přestavbu Žlebů na barokní zámek.Jan Adam z Auersperka v roce 1795 umírá a v držení žlebského panství se potom rychle vystřídalo několik příslušníků rodu Auersperků.Do dalšího stavebního vývoje zámku zasáhl až Vincenc Karel z Auersperka v letech 1812-1867, kdy převzal správu panství po dosažení plnoletosti a to v roce 1832.V roce 1849 se rozhodl přestavět žlebský zámek v gotickém slohu. Pro tuto přestavbu měl význačné české architekty a to Františka Schmoranze a Benedikta Škvora, sochaře Emanuela Maxe a Josefa Ondřeje Krannera., A. Fernkorna z Vídně a kameníka Josefa Svobodu.V interiéru zámku se taky shromáždilo velké množství cenných uměleckých předmětů, třeba sbírka zbraní a brnění z 15.-19. století, renesanční a barokní nábytek, sbírka obrazů s díly ze 16.-19. století, bohatá knihovna, sbírka skleněných a porcelánových předmětů. V kapli byl umístěn pozdně gotický oltář a pozdně gotická křtitelnice, renesanční náhrobek Sudů z Řence a dřevěné a terakotové plastiky.Přestavěný zámek měl i s byty pro služebnictvo a s hospodářským příslušenstvím celkem 116 místností. Současně s přestavbou zámku byl nově upraven a rozšířen park, který pak dosáhl rozlohy 90 ha.

Celá pseudogotická přestavba žlebského zámku byla ukončena v roce 1868, kdy jeho majitelem byl syn Vincence Karla Auersperka František Josef Auersperk, který umírá v roce 1938. Po jeho smrti pak Ferdinand Auersperk , který umírá v roce 1942, kdy zdědil žlebské panství Josef Trautmannsdorf. Tomuto majiteli byl zámek v roce 1945 zkonfiskovám a přešel do majetku státu.Z části místností bylo použito jako depozitáře pro inventář z jiných zámků. Nejprve byly zpřístupněny reprezentační místnosti s nejcennějšími sbírkami ve východním křídle. V letech 1967-1969 byla provedena nová instalace a zpřístupněno dalších osm místností, které bývaly obydlím posledních majitelů. Cílem instalace zámku je zachytit způsob života a bydlení šlechty v polovině 19.století.Poslední majitelé, kteří žijí v Austrálii se o tento skvost nezajímají a ani ho nenavštívili.