Zakladateli hradu byli páni ze Skalice, kteří drželi také nedaleký hrad Adršpach a hrad Vízmburk. Své jméno získal Střmen podle jejich erbu, na němž byl vyobrazen třmen. Hrad byl založen pravděpodobně kolem roku 1250. Je uveden v Majestas Carolina krále Karla IV., jinak se ale v písemných pramenech uvádí výjimečně. Kolem roku 1362 držel hrad Tas z Rýzmburka. Po roce 1363 koupil Střmen Hynek z Dubé a z Náchoda, když prodal Náchod. Po něm jej držel jeho syn. Páni z Dubé se jako majitelé hradu připomínají ještě k roku 1436.

      Jeho další osudy jsou ale neznámé. Obecně se soudí, že se dostal stejně jako Adršpach a Skály do rukou husitů a byl zničen ještě za husitských válek, nebo potom v roce 1447. V seznamu hradů, které byly toho roku Slezany vykoupeny a poté zbořeny, se ale neuvádí.V deskách zemských je však Střmen uveden ještě k roku 1534 jako hrad zbořený a v roce 1607 dokonce jako pustý zámek. Písemné prameny uvádějí, že stavebního materiálu bylo použito při stavbě obydlí vesnice Třmeny doložené poprvé roku 1606. Ves začala později užívat názvu Stegreifen. V současnosti se jmenuje Kamenec a je součástí města Teplice nad Metují. Dnes připomínají hrad Střmen jenom otesané skalní stěny, zářezy pro trámy a zbytky schodů. Na nejvyšším skalisku, kde stávala hradní věž, je vybudována vyhlídková plošina.