庐山上的建筑均为国家没收，包括“美庐”，改建成中共中央的招待机关，后来中共中央又经常在这里召开重要会议。

1956年10月，毛泽东在接见曹聚仁时对他说：我知道蒋介石很惦记他的家乡和他在大陆的一些房产，你可以到处走一走，顺便去那些地方看一看。这样，曹就在当年10月先上了庐山，在庐山住了一个星期，还专门拍摄了“美庐”的照片。他对“美庐”管理得很好表示高兴。之后，曹又去了蒋介石的老家奉化，看到蒋家祖坟保护得也很好。他回到香港后，给蒋介石写了一封长信，介绍了他到庐山、奉化、萧山、宁波、杭州游历的情况，同时附上了一些照片，其中有三张是“美庐”的。曹在信中详细介绍了“美庐”受到保护的情况，说：那里面的珍贵物品一样都没有少，都放在原来位置，连宋美龄用过的钢琴也放在原来的位置，餐厅里的银制餐具一样也没有少，蒋介石用过的轿子还摆在原来的房子里。当然，曹在信中也讲道，现在庐山已经归中共中央庐山管理局所有了，剧院等的名称也改了。曹怕蒋介石对此不高兴，在信的最后写道：“聚仁私见，认为庐山胜景，与人民共享，也是天下为公之至意。最高方面，当不至有介于怀？”曹在信中还说：“前年宋庆龄先生上山，曾在庐中小住。近又在整理。这些都是中共方面期待你能回到大陆，到时好请你去游山的意思。那时，你原来的别墅，正好准备你来居住。这个意思，我不能不告诉你。”曹还给蒋介石出主意说：如果能够实现国共第三次合作，你回大陆的主要居住地应该是庐山。“唯情势未定，留奉化不如留庐山，请仔细酌定。”他还说，这不只是他个人的意思。而是他与中共高层共同的意思。没有想到，蒋介石看了这封信后，不仅没有介怀庐山归为中共中央管理局所有，而且十分高兴。他仔细看了三张照片，感慨万千。他让曹向毛泽东表达他的感激之意。

不久，曹聚仁把蒋介石的态度回复给毛泽东、周恩来。毛泽东大方地表示，如果国共第三次合作，蒋介石回大陆，庐山可以作为蒋介石养老的地方。毛泽东把这件事情记在了心里。1959年他上庐山开会时，发现工作人员正欲凿除蒋介石在石碑上写的“美庐”二字，连忙制止，让蒋介石题写的这两个字保留了下来。

蒋介石听到曹聚仁向他转达的毛泽东的这个意思，更加感激毛泽东，同时也把这件事情记住了。在1965年拟定条件时，他特意把庐山要作为自己住所一事写了上去。

晚年的蒋介石曾经密约毛泽东访台

“文化大革命”的爆发，打断了国共两党之间的联系。蒋介石听到大陆方面发生一些极端的事情，对中共的疑虑更深了。1968年，他听说一些红卫兵去了他的老家溪口，炸毁了慈庵，十分气愤。他曾嘱咐儿孙：“永记此一仇恨不忘，为家为国建立大业，光先裕后，以雪此家仇国耻也。”但是他不久又听说，周恩来亲自出面，保护了他家在溪口的一切房产和祖坟，心里对中共高层又产生了十分感激之情。