Původně Jenczenslag nasvědčuje jejímu vzniku při dosídlování Čech ve 13.století. Jejím nejstarším známým majitelem byl pravděpodobně Ondráček ze Zásmuk jinak z Vlčetína, doložený v letech 1388-1418. Po něm asi následoval Ctibor ze Zásmuk jinak z Vlčetína, který byl za husitských válek v rožmberských službách v roce 1434 byl purkrabím na Českém Krumlově.

Když se roku 1465 jeho dva synové, Petr a Václav, dělili o otcovské dědictví, získal tvrz Lhotu, která je tak doložena poprvé, s dvorem a ves Jižnou Petr. Roku 1489 ustanovil svou manželku Kateřinu ze Strpí poručnicí svých dětí. Jeho nástupci se nazývali Lhotští ze Zásmuk. Kdy a jakým způsobem se dostal na Lhotu Diviš Boubínský z Ujezda, nelze zjistit, víme jen to, že okolo roku 1530 prodal tvrz s dvorem, ves Jižnou a část Březiny Janu Kábovi z Rybňan, který potom na statku se svým bratrem Václavem společně hospodařil. Oni také zřejmě přestavěli starou tvrz na renesanční zámek, který se pak nazýval Nová Lhota nebo také Kábova Lhota.

 Také Janovi synové, Bohuslav a Jiřík, vedli hospodářství společně. Později se dostal na Novou Lhotu příbuzný Jan Kába z Rybňan, který si naproti zámku dal postavit kostelík Nejsvětější Trojice jako rodinnou hrobku. Roku1597 prodal Novou Lhotu, dvůr a vesnice Jižnou a  Březnou Vilému Růtovi z Dírného. Růt připojil k Nové Lhotě městečko Deštnou, vesnice Višňovou, Světce a část Březiny, které v roce 1596 koupil od Petra Voka z Rožmberka. Po Růtově smrti v roce 1608 se ujal pro zámek  název Červená Lhota podle barvy venkovních zdí. Jeho nástupci, Bohuslavu Růtovi, byl majetek pro účast na stavovském povstání v letech 1618-1620 konfiskován a to v roce 1621 a zámek, dvůr a pivovar, městečko Deštná, dva další pusté dvory a vesnice Jižná, Březina a Minich dány v roce 1622 do zástavy císařskému  rytmistru Antonínovi Bruccinovi, aby z výnosu statku hradil žold svým vojákům.

 V roce 1630 se stal Bruccino skutečným majitelem Lhoty. Po Bruccinově smrti v roce 1639 koupil Lhotu majitel nedalekého jindřichohradeckého panství hrabě Vilém Slavata z Chlumu a Košumberka. Příchod nové vrchnosti dokládá barokní portál, vsazený do zámecké věže s letopočtem 1641. Za Vilémova syna Adama Pavla byl červenolhotský statek zvětšen přikoupením vsí Bořetína a Mnichu v roce 1655. Za Vilémova vnuka Jana Jáchyma, který převzal Červenou Lhotu po smrti svého staršího bratra  Ferdinanda Viléma v roce 1673, byly provedeny některé úpravy uvnitř zámku.

 Podnes se zachovala část freskové výzdoby Giacoma Tencaly v průjezdu a několika pokojích a práce štukatéra I.Comety z let 1675-1678. Při dělení velkého slavatovského majetku, kněmuž došlo po smrti Jana Jáchyma Slavaty, získala Červenou Lhotu roku 1694 Marie Terezie Slavatová, provdaná hraběnka Fünfkirchenová. Od té doby se na zámku střídali další majitelé a to do roku 1735 Windischgrätzové, do roku 1794 Gudenusové, do roku 1823 Stillfriedové, v letech 1866- 1945 Schönburgové. Kníže Jindřich Eduard Schönburg dal v roce 1845 provést některé změny zámku zvenčí v novogotickém slohu podle nákresů jindřichohradeckého stavitele Josefa Schaffera.

Od roku 1860 pokračovaly novogotické úpravy v zámeckých interiérech podle návrhů černínského stavitele Jana Kocába. Současně došlo též na celkovou obnovu kostelíka naproti zámku jako rodinné hrobky. Poslední změny v letech 1903-1912 však odstranily vnější novogotický ráz zámku. Předposlední majitel velkostatku, kníže Jan Schönburg-Hartenstein, patrně vlivem delšího pobytu v Římě, uplatnil své poznatky při vybavování zámeckých pokojů včetně slohového zařízení. V roce 1945 se stal zámek vlastnictvím československého státu, který nákladně opravený objekt zpřístupnil veřejnosti.Dnes se zde můžete povozit na lodičce.Také zde se hodně natáčelo a natáčí, Zlatovláska  Nemocnice na kraji města, filmy o panu Vokovi