Hohenberg wurde urkundlich erstmals im Jahre  1135 im Zusammenhang mit dem fünfzehn Jahre zuvor gegründeten Stift der  Augustiner - Chorherren  in Bernried erwähnt. 

1356  wurde die Kapelle zu Ehren der heiligen Magdalena und der heiligen Katharina errichtet, die fortan - bis zu dessen Säkularisation im Jahre  1803 - zum Kloster Bernried gehörte. 

1873  suchte der Eigentümer des Gutes Hohenberg, Konstantin Schägger, um die Konzession an, in Hohenberg eine Gastwirtschaft einrichten zu dürfen. In seinem Gesuch führte er unter anderem an:  "da ich für mein großes Hauswesen viele Dienstboten haben muß, so bin ich gezwungen, bey mehr als halbstündiger Entfernung von den nächsten Gasthäusern immerfort Bier in meinem Keller zu haben. Die nächstgelegenen Gutsbesitzer wünschen nun durch mich Bier erhalten zu können, besonders zur Sommerzeit, weil ihnen die Gasthäuser von Hohenkasten, Eberfing, Magnetsried und Seeshaupt zu entlegen sind." 

Deshalb war der Bürgermeister der kleinen Gemeinde Arnried, zu der Hohenberg in jener Zeit gehörte, gehalten, eine Stellungnahme abzugeben. Er äußerte sich folgendermaßen:  "Leumunds - Zeugniß".  Dem Konstantin Schägger, Gutsbesitzer von Hohenberg, der Gemeinde Arnried, wird hiemit bezeugt, daß sein Leumund ungetrübt und daß er zur Führung einer Bierwirthschaft auf seinem Hofe befähigt sey, ferner daß die Lokalitäten für eine Bierwirthschaft, wie sie dahier nothwendig ist, geeignet seien.  Die  Landgemeinde - Verwaltung  Arnried, den  22. Jänner 1873" Das königliche Bezirksamt zu Weilheim ergänzte mit der Anmerkung:  "Eine Strafliste liegt nicht vor." 

1889 verkaufte Konstantin Schägger das Gut Hohenberg nebst Hof mit Gastwirtschaft und Kapelle  Karl Freiherrn von Podewils. Dieser ließ 1889 / 1890  durch das  Baubureau  Ziebland & Kollmus  auf dem Hügel eine Jagdvilla errichten, das sogenannte "Schloß". 

1897 veräußerte Podewils Hohenberg an Wilhelm Freiherrn Schertel von Burtenbach, der einer schwäbischen Familie entstammte. 

1903 gelangte Hohenberg wieder in andere Hände. Käufer war  Willibald Beck Freiherr von Peccoz, dessen Familie bis heute in Au, in der Hallertau ansässig ist. 

1931  erwarb Philipp Ernst Prinz von Thurn und Taxis, der jüngste Sohn des  Albert Fürsten von Thurn und Taxis aus Regensburg, das Gut Hohenberg von der Familie Beck.