如今，这栋4层中西合璧式青砖洋房总是让人们抱着对当年戴笠与胡蝶的想象。
胡蝶在电影界的名望甚高。1935年11月，她与丈夫潘有声在上海汉口路大教堂举行盛大结婚仪式，电影界知名人士袁美云、顾兰君、林楚楚、黎铿等人前去祝贺，一时满城争说，盛况空前。凭着往日盛名，胡蝶来渝后很快被中央电影摄影场录用，主演影片《三个女性》和《建国之路》，经常出入上流社会，一露面则万人争睹芳容。想要真正得到她，还得下功夫。
为了争夺胡蝶，戴笠使出了浑身解数，他首先从胡蝶的软肋下手。胡蝶最急需的是房屋，她寄住的杨虎家虽说环境条件不错，毕竟不方便。当时陪都人口剧增，房荒严重，有钱也租不到合适的房屋。
据说戴笠为胡蝶修建了好几处住所，其中居住时间最长的当属神仙洞。戴笠从四川军阀王陵基手中得到了枇杷山神仙洞的地皮，大喜过望，随即忙着准备建造一座西式别墅。他令手下人到水泥厂、钢铁厂强购钢筋水泥，又从滇缅路运来大理石材等装修材料，紧急开工。军统总务处长沈醉为了讨好戴笠，逼迫工人通宵达旦赶工。短短几个月，一幢西式别墅横空出世，矗立在神仙洞。1944年初公馆建好后，戴笠又花1万多银元购置花木植于园中。公馆内所有服务人员都是他从浙江江山老家招来。
