Původně hrad,ale ještě dříve to  byl pravděpodobně románský dvorec olomouckých biskupů, s nimiž jsou spojovány počátky města. Nejstarší částí současné  rezidence je suterén čtverhranné obytné věže při jihovýchodním nároží zámku.

     Za biskupa Bruna ze Schauenburgu bylo starší městské sídlo zřejmě přestavěno na gotický hrad. V letech 1423 a 1432 byla Kroměříž jako majetek biskupa Jana XII. Železného dobyta husitskými oddíly a následně byla zastavována šlechtě. Obnovení a přestavbu hradu na  zámek začal Stanislav Thurza, který vyplatil město zpátky roku 1500.

      V druhé polovině 17. století byl zámek, poškozený za třicetileté války, ve dvou etapách obnoven a rozšířen biskupem Karlem II. z Lichtensteina. Roku 1752 zámek opět vyhořel a musel být renovován biskupem Leopoldem Eghem.  V letech 1848-49 v prostorách zámku zasedal říšský sněm

     Do roku 1949, kdy byla na zámek uvalena nucená správa byl zámek majetkem olomouckého arcibiskupství, o rok později byl přidělen okresnímu národnímu výboru Kroměříž. Zámek se vzácnou sbírkou obrazů, zahrad a parků je dnes velmi cennou národní kulturní památkou zařazenou na seznam památek UNESCO, majiteli areálu jsou dílem stát a dílem opět olomoucké arcibiskupství.