Ruševine gradu Kamen (nemško Stein ali Stain) iz 12. stoletja se nahajajo ob vasi na vstopu v dolino Drage. Prvič je bil grad Kamen zabeležen leta 1185, kot Castrum Lapis leta 1263 ter leta 1350 kot Stain, ko je prešel v last grofov Ortenburških. Grad je bil pomembna postojanka, kajti varoval je staro tovorniško pot iz Bohinjskega kota in Zgornje Savske doline čez Prevalo proti Tržiču in hospicu v Podljubelju do Koroške.
Leta 1418 je grad prešel v last Celjskih grofov. Valvasor poroča, da se je tu leta 1428 pri padcu s konja ubil Herman III., sin Hermana II. Celjskega. Celjski so grad in gospostvo dajali v fevd. Tako ga je leta 1442 kupil in imel v fevdu Hans II. Sepacher (ali Mlinski iz Mlinega pri Bledu), ki ga je nasledil sin Wolfgang. Po njihovem izumrtju od 1456 je prešel v posest Habsburžanov, še naprej pa je bil v lasti Wofganga Sepacherja, ki ga je leta 1458 prodal Andreju Kreigu. Kasneje je grad še nekajkrat zamenjal lastnike. Med njimi je bil tudi znameniti vitez Gašper Lambergar, zmagovalec v 85 turnirjih, ki ga opeva ljudska pesem o Pegamu in Lambergarju.