Zámek byl postaven s největší pravděpodobností na místě středověké tvrze, vzniklé po rozboření nedalekého hradu Blanska. První známé panské sídlo dal vystavět v roce 1447 Vilém z Miličína. Další významní držitelé tvrze jsou třeba Humanista Jan Dubraviov z Hradiště a na Blansku byl od roku 1531.Později se stal olomouckým biskupem a v roce 1559 napsal důležitý spis O rybnících.

V roce 1560 zde byl další biskup humanista Amrož z Ottersdorfu. V roce 1573 přešlo Blansko do majetku Matyáše Žalkovského ze Žalkovic, který hned v roce 1574 začal přestavovat dosavadní sídlo v renesanční zámek.Kamenné pamětní tabule v průjezdu nesou znak Žalkovských ze Žalkovic. Na sklonku 16. a počátkem 17.století působil na blanenckém zámku hospodářský správce Jiří Skřivánek, autor Kopiáře blanenského z let 1594-1611, obsahujícího soubor zajímavé hospodářské korespondence. V roce 1615 koupil zámek a panství Albrecht ze Šlejnic, jeho rodina se zúčastnila českého stavovského odboje v letech 1618-1620. V době třicetileté války se jejich držitelé často střídali a ani opravený a znovu vybudovaný zámek nepřečkal válku beze škod.

V letech 1643-1645, kdy patřil Lvům z Rožmitálu, byl poškozen a teprve koncem 17.století byl přestavěn v barokním slohu a rozšířen. Nově vybudovaná věž nese letopočet 1695. Přestavby z konce 17.století spadají do doby, kdy panství patřilo šlechtické rodině Gellhornů, která se zasloužila o rozvoj železářství v tomto kraji.Hrabě Arnošt Julius Gellhorn se přidal za válek o Slezsko v roce 1742 k Prusům. V roce 1766 prodal hrabě Karel Gellhorn léno Blansko hraběti Antonínu Salmu-Reiferscheidtu. Za Salmů se stal zámek nejen sídlem horního a hutního úřadu panství, ale i letním sídlem celé rodiny. Hugo František Salm/1776-1836/ rozšířil železářské podniky v Blansku, které si brzy získaly přední místo v průmyslovém podnikání tehdejšího Rakouska.Za něho pobýval na letním sídle v Blansku Josef Dobrovský, Josef Hormayer z Hortenbergu, také zde vzikaly plány na vznik moravského Františkova muzea. V 19.století bydlel v předzámčí, které dnes jsou hospodářské budovy a byty, otec moravské archeologie a salmovský lékař Dr. jindřich Wankel, který zde měl uloženy své archeologické nálezy z jeskyní Moravského krasu. Několikrát zde Wankla navštívil malíř Josef Mánes.

 Na blanenském zámku pobýval také rakouský spisovatel Ferdinand von Saar. V 19.století prošel zámek dvěma úpravami v pozdně empírovou v roce 1853 a novorenesanční v roce 1873. Také interiéry byly upraveny pseudorenesančně, ale tyto úpravy zmizely při poslední rekonstrukci v letech 1960-1968, kdy se zámek slohově vrátil ke své původní renesanční podobě.Po roce 1945 přešel zámek do státní správy, byl využit pro bytové účely, část sloužila jako sýpky. Po rekonstrukci v letech 1960-1968 slouží okresnímu muzeu a okresní knihovně. Dnes můžete vidět v přízemí expozice Moravský kras,výstavě blanenckého železářství, zejména litiny. V prvním patře pak můžete obdivovat zámecké pokoje s kazetovými stropy .