1861 wurde die Villa der Familie von Rappard am Südhang des Kleinen Rugen errichtet. Das Gebäude im Stil eines gründerzeitlichen Landhauses wurde während der Sommermonate bewohnt. Im Herbst brach man zu Reisen nach Italien bzw. Deutschland auf, um im Frühjahr zum «Drachenauge» oder der «Rugenvilla», wie man das Haus liebevoll nannte, zurückzukehren. Dort verbrachte die Familie viel Zeit in der Natur und ging dem eigenen Tagesablauf nach. Clara von Rappard zeichnete täglich, spielte Klavier, ging spazieren, las Romane, Sachbücher und Tageszeitungen und stattete Besuche ab.
Dank der Kontakte, die Conrad von Rappard auch im Exil pflegte, fanden sich in der Rugenvilla viele prominente Persönlichkeiten: Politiker, Unternehmer, Künstler, Wissenschaftler und der liberal gesinnte Adel, ein. Unter den Gäste waren Elisabeth von Preussen, Hermann von Helmholtz, Clara Schumann, Heinrich Gerhardt, die Familie von Siemens, General von Winterfeld, das Kronprinzenpaar Friedrich, Adolf Menzel, Prinz Alexander, Carl Gussow, das Ehepaar Hermann Grimm und Familie Carl Hilty sowie die politischen Gesinnungsgenossen.
1872 wurde das Haus auf Clara von Rappard überschrieben und umgebaut. Der Erker erhielt einen kompakten Turm, in dem das Studierzimmer und Atelier der jungen Künstlerin untergebracht waren. Die Räume erhielten eine antikisierte Möblierung. 1883 gestalteten Mutter und Tochter den Salon, das Wohn- und Schreibzimmer massgeblich um. Sie bemalten die Wände mit Motiven ihrer Reisen: dem antiken Parthenon, der Bucht von Capri, dem griechischen Mittelmeer, der Achmedie Moschee, gerahmt von Blumen umrankten pompejanischen Säulen. Das Erkerzimmer im Turm wurde mit orientalischen Stoffen ausgekleidet und mit Kopien antiker Reliefs dekoriert. Das Atelier erhielt einen Sternenhimmel. Die Ausstattung fand den Beifall des berühmten Malers Adolf Menzel, der das Berner Oberland und die von Rappards 1885 besuchte.
Ab 1896 mussten Albertine und Clara von Rappard Teile der Villa aus finanziellen Gründen an Pensionsgäste vermieten. Nach dem Tod der beiden bewohnten Verwandte das Haus, 1944 wurde das Inventar zwangsversteigert, die Villa ging an den Kanton Bern. In den 1960er Jahren fiel sie dem Abriss zum Opfer.
