K jeho stavbě dal roku 1349 souhlas král Karel IV. bratrům Petru, Joštu, Oldřichu a Janu z Rožmberka. Hrad byl vystavěn v letech 1350-1360 na skalnatém ostrohu před ústím Křemžského potoka do řeky Vltavy. V roce 1394 se stal hrad místem krátkého pobytu krále Václava IV. na jeho nedobrovolné cestě do Rakous. Na počátku husitských válek postoupil Oldřich z Rožmberka hrad Vilémovi z Potštejna, jenž podobně jako Oldřich byl zprvu nakloněn opravnému hnutí v církvi, ale později se obrátil proti husitům. Roku 1424 převzal Rožmberk Dívčí kámen od Viléma z Potštejna zpět. Po Oldřichově odchodu z veřejného života do ústraní stal se hrad jeho stálým sídlem. Zde také dal v letech 1421-1437 padělat královské listiny, které mu měly potvrdit různé výsady a získání majetku.

Počátkem 16.století , za Petra z Rožmberka, byl hrad částečně opraven. Stavební práce si zřejmě vyžádaly větší náklady a proto se Petr rozhodl hrad nadále neudržovat.. Vnitřní zařízení bylo odvezeno do Krumlova a opuštěný hrad brzy propadl úplné zkáze. Na svahu rozsáhlé hradní zříceniny, kde se zachovaly zbytky obvodových zdí a příček, byl v roce 1972 proveden archeologický průzkum, který prokázal, že toto území bylo osídleno již pravěku. Nejstarší nálezy pocházejí z pozdní doby kamenné, další z rozhraní starší a střední doby bronzové.Jedna z nejkrásnějších zřícenin v krásné krajině.

POVĚST:
V hradních sklepech jsou prý ukryté velké poklady, který hlídá král trpaslíků s dlouhou šedivou bradou. Na jaře často bloudí hradem a rád se ukazuje lidem. Většinou sedává na skále nad Křemžským potokem a silně kýchá. Kdo ho po každém kýchnutí uctí tradičním pozdravem, tomu se bohatě odmění. Kdo se mu však posmívá, dopadne zle.