Kdysi hrad je poprvé doložen v roce 1360,ačkoliv se již v letech 1250-1274 připomíná Heřman  z Letovic a v roce 1316 Stanimír z Letovic,což by předpokládalo existenci hradu již v druhé polovině 13.století.Poté se stali držiteli Letovic páni z Přibyslavi,které ještě ve 14.století vystřídal rod Ronovců.Kolem roku 1400 byl na zdejším hradě přeložen do češtiny známý cestopis Marka Pola MILIÓN.Překlad,v němž jsou zřetelné některé moravismy,je dnes uložen v knihovně Národního muzea v Praze.

Na počátku 15.století držel hrad přívrženec císaře Zikmunda Hynek z Ronova.Proto husité v roce 1424 hrad oblehli,dobyli a zničili.Po Hynkově smrti bylo panství rozděleno mezi jeho dcery na dvě části,které získali postupně páni z Boskovic.Z nichž s oblibou v Letovicích přebýval vzdělaný Ladislav z Boskovic,který zde také v roce 1520 zemřel.V druhé polovině 15.století byl letovický hrad obnoven.O jeho pozdně gotické přestavbě svědčí několik sklepních místností s jednoduchým portálem a pozdně gotická je snad i část vnější obvodové zdi zámeckých budov.

Syn Ladislava z Boskovic Kryštof z Boskovic postoupil v roce 1544 hrad a městečko Letovice,Třebětín,Slatinku,Vanovice,Zboněk,Zábludov,Radiměřice a Lazinova hraběti Kryštofu z Hardeku.Hardekové počali šířit v Letovicích luterství mimo jiné založili zde luterskou školu a městečko poněmčovali.Jejich náhrobky jsou ve farním kostele v Letovicích.Za Hanuše Fridricha z Hardeku v druhé polovině 16.století byly provedeny úpravy hradního interiéru a jeho opevnění,hlavně na severní straně.Panství pak získal v roce 1614 sňatkem s Reginou Juliánou z Hardeku hrabě Jindřich Václav Thurn,jenž dovedl proplout úskalím pobělohorských konfiskací a podporoval Letovické v odporu k protireformaci.V roce 1643 dobyli hrad Švédové .Na konci 17.století přestavěl Štěpán Szelepcsényi jádro sídla v raně barokní zámek.

Po četných změnách držitelů panství získali v roce 1724 Letovice Blümegenové,kteří povznesli město po stránce hospodářské.V roce 1724 zámek s městečkem vyhořel.Po požáru pak úpravy pokračovaly,především v zámeckých interiérech,stejně jako výstavba hospodářských a úředních budov východně od zámku,jak hlásá letopočet 1730 na bráně předzámčí.V roce 1830 se stává majitelem panství a zámku maďarská rodina Kálnoky z Köröspatak,za níž stavební činnost ožívá znovu.Stavbou koníren,letní a zimní jízdárny s arkádami na terase a úpravou středověké věže získal zámek nynější vzhled.Z roniny Kálnokyů vynikl Gustav Kálnoky/rok úmrtí 1898 v Letovicích/,nejprve rakouský velvyslanec v Petrohradě a v letech 1881-1895 rakouský ministr zahraničí.

V rodině Kálnokyů působil v Letovicích  jako vychovatel český archeolog a básník Jan Erazim Vocel /1803-1871/.Kálnokyové vlastnili panství až do roku 1945,kdy byl majetek zkonfiskován a zámek pak patřil Okresnímu průmyslovému podniku v Boskovicích.Po roce 1989 ,po dlouhých průtazích ,byl zámek  navrácen v restitučním řízení hraběti Alexandru Kálnokymu.Město Letovice ve spolupráci s hrabětem  Alexandrem Kálnokym začalo investovat do statického zajištění a sanace sklepení jízdáren.

V roce 2004 hrabě Kálnoky prodal zámek Bohumilu Vavříčkovi z Boskovic.Majitel intenzivně pracuje na rekonstrukci a jeho krásným záměrem je tuto památku zachránit pro budoucí generace.Má stanovený cíl a to zařízení interiérů zámku,které byly zničeny a jejich zpřístupněny veřejnosti .

Zámek je otevřen pro veřejnost od května 2008 a proto pomozte zachránit Historickou památku už tím,že přijdete se kouknout.