Mitte des 19. Jahrhunderts galt Bonn als „Rheinische Riviera“. Attraktive Bauplätze am Rhein hatten Konjunktur. Zahlreiche Rheinvillen mit imposanten Gärten vorwiegend im landschaftlichen Stil wurden in dieser Zeit gebaut, so die Villa Hammerschmidt und das benachbarte Palais Schaumburg.

Bereits 1862/63 beauftragte der Kaufmann Albrecht Troost den Baumeister August Dieckhoff mit dem Bau einer Villa an dieser Stelle des Rheinufers. Leopold Koenig, der „Zuckerkönig“, kaufte 1867 das Anwesen und ließ die Villa durch Otto Penner im klassizistischen Stil ausbauen.

Der fünf Hektar große Landschaftspark wurde 1878 durch den Hamburger Gartendirektor F.J.C. Jürgen angelegt. Dass Leopold Koenig keine Kosten scheute, belegt das Palmenhaus mit Glaskuppel - sowohl Kalt- als auch Warmhaus. Es hatte neben einem Billardsalon auch einen Muschelsaal mit einer Seitenlänge von mehr als 40 Metern. Die Ufermauern ließ er mit einer Nibelungengrotte schmücken. 1899 ging das Anwesen in den Besitz des Geheimen Kommerzienrates Rudolf Hammerschmidt über. Auch er hatte als Zuckerfabrikant Erfolg gehabt und machte die Villa zum gesellschaftlichen Mittelpunkt von Kultur und Wirtschaft.

Nachdem die Bundesrepublik Deutschland die Villa Hammerschmidt zum Amtssitz des Bundespräsidenten bestimmt hatte, wurde 1949 Hermann Mattern damit beauftragt, die Gärten der Villa Hammerschmidt und des Palais Schaumburg zu einem Park zusammenzufassen. Er gestaltete einen offenen Landschaftspark mit freischwingenden Wegen, großzügigen Rasenflächen und breiten Sichtachsen zum Rhein. Den vorhandenen alten Baumbestand ergänzte er durch teils seltene Nadelgehölze. Die von ihm bevorzugten Kiefern und Zedern geben dem Garten noch heute einen unverwechselbaren Charakter und den zeitgenössischen Plastiken von Heiliger, Marcks und Uhlmann einen Rahmen.