Ihr Bauherr Friedrich von Freyberg zu Hohenfreyberg, ältester Sohn des Besitzers der Burg Eisenberg, errichtete sie 1418–32 bewusst im Stil einer staufischen Burg in einer spektakulären Höhenlage, um sich in den Zeiten des ritterlichen Niederganges nochmals gegen den Lauf der Zeit zu stemmen und ein unübersehbares Machtsymbol zu setzen.

Um 1480 erwarb Österreich-Tirol die winzige Herrschaft samt Burg, die in den Jahren durch den wohlhabenden Pfleger Georg Gossenbrot zeitgemäß ausgebaut wurde. Analog zur Nachbarburg Eisenberg erfolgten auch auf Hohenfreyberg um 1540 interessante Schutzmaßnahmen gegen Artilleriebeschuss.

Noch 1607–09 rüstete die Tiroler Landesregierung die Burg auf modernere Artilleriewaffen um, indem die Schießscharten modernisiert und die Mauern mit neuen Wehrgängen versehen wurden. Doch nur 37 Jahre später steckte die Landesregierung ihre Burgen Eisenberg, Hohenfreyberg und Falkenstein selbst in Brand, um sie den heranrückenden Schweden bzw. Franzosen nicht in die Hände fallen zu lassen. Seitdem blieb die Ruine malerische Ruine dem Verfall überlassen.