1897年1月14日，美国传教士赛兆祥在庐山购地建造别墅。以后夏季，赛兆祥和家人常从江苏来庐山避暑。赛兆祥的女儿赛珍珠在《我的童年》一文中充满感情地回忆到：“每年6月，当秧苗从旱地秧田移到水田的时候，也就是去牯岭的时候了。”“距我家不远处，有一眼山泉，泉水晶莹清澈，可以直接饮用，简直成了我们的高级饮料。”赛珍珠后来因长篇小说《大地》获得诺贝尔文学奖而享誉世界。
起先被称为“赛兆祥别墅”的房子，今被辟为“赛珍珠纪念馆”，供游人参观。