为了保密，戴笠在公馆外围修建围墙和电网，设置岗亭。这里面临长江，背靠枇杷山，风景绝佳。别墅客厅有西式壁炉，上面横挂着一幅油画，整套进口牛皮沙发呈八字分开，背后有一架蓝色的钢琴。窗外是滔滔长江，帆影点点，室外还有花木和小径。戴笠将别墅作为礼物送给胡蝶。胡蝶前来，看到华屋美景，心已先醉，向戴笠连连道谢。戴笠更称赞胡蝶是天上的神仙下凡，就该住在神仙洞。胡蝶迁入新居，戴笠三天两头来拜访，每次都送厚礼。随着胡蝶对戴笠感激、报答之情日深，两人也开始秘密同居。
在此之前，他曾将胡蝶藏在杨家山公馆里。事实上，戴笠在重庆有多处公馆和别墅，除曾家岩、上清寺康庄两处外，在沙坪坝缫丝厂杨家山、嘉陵新村半山坡、松坡林等地均有，这与他神秘的日常生活不无关系。杨家山公馆偏处郊区，也正好掩人耳目。他还为胡蝶在公馆前修了一座花园，与胡蝶在这里同居时，每天早晚总陪她到花园里散步。
胡蝶的丈夫潘有声是个生意人，戴笠为了打发他，特意送他一张滇缅路通行证，让他外出做生意。潘有声经常跑生意，日进斗金，戴笠则乘虚而入，日夜偷欢。但是，世上没有不透风的墙，潘有声听到风声后非常生气，从外地归来后直奔罗家湾军统局本部找戴笠讨说法。接连去过几次，不但每次都吃闭门羹，而且连胡蝶住哪里都不知道。戴笠派秘书王汉光当说客，让其拿着大面额支票与潘有声谈交易。
