Zámek Javorník byl postaven v 2. polovině 13.století. Od roku 1307 byl hrad i okolí součástí rozsáhlého území, které náleželo biskupství ve Vratislavi. V průběhu 15.století byl hrad značně poškozen husitskými válkami, ale i nešťastným zásahem samotného biskupství, které nechalo pobořit jeho obranný systém, aby se hrad nemohl stát oporou případného dalšího nepřítele.

V průběhu těchto úprav byl také změněn název objektu na počest patrona vratislavských biskupů Jana Křtitele na Jánský Vrch.  Následovala definitivní přestavba původního hradu na barokní zámek a to v letech 1482-1509 biskupové Jan Roth a Jan Thurzo. Jánský Vrch se stal záhy střediskem hudebního života pro celé Slezsko.Pravděpodobně zde pobýval i vynikající astronom Mikuláš Koperník.V roce 1576 město zachvátil požár.V letech 1610-1617 byly za biskupa Karla Rakouského přistavěny obytné místnosti.

Od roku 1767 tady zil biskup hrabě Gothard Filip Schaffgotsch /1747-1795/syn hraběnky Anny Terezie Novohradské z Kolovrat.V roce 1776 byla zřízena oranžérie a okrasná zahrada ve francouzském slohu.V roce 1790 se na zámku narodil básník Josef Kristián Zedlitz /1790-1853/.Na zámku zemřel i poslední vratislavský biskup kardinál Adolf Bertram/1914-1945/. Na počátku 19. století byl zámek přestavěn na letní sídlo. V roce 1959 byl zámek Jánský Vrch zapůjčen státu. K jeho plnému zestátnění mohlo dojít až po vzájemném vyrovnání polské a české katolické církve, tedy v roce 1984. Nyní je ve správě Státního památkového ústavu v Olomouci.

V roce 2005 rekostrukce Jánský vrch získá nynější rekonstrukcí po dvou stoletích původní červenou barvu omítky z šedesátých let 18. století. Omítku navíc ozdobí opravený erb vratislavského biskupa F. G. Schaffgotsche, který památkáři objevili při čištění fasády zámku