薛怀义本来有点武艺，但二三十个朝臣，他也寡不敌众，被打得鼻青脸肿，狼狈不堪。
薛怀义本以为太后会为他做主，可是太后在这件事上很有度量，她认为这毕竟是私事。宰相苏良嗣素以直言敢谏而著名，很孚众望。如果为了私宠薛怀义的无礼降罪于宰相，并不明智。为此，薛怀义气得要命，索性放起赖来，借口有病，住在寺内，不去侍奉太后了。
上官婉儿一看太后不高兴，后果很严重，急令宦官传话给他： “你要知道违抗圣命会带来什么后果!”薛怀义可没这么大的胆量，他深知太后翻脸无情，也只好服从。
为了安抚薛怀义的那点怨气，太后让他负责修建明堂。明堂在垂拱四年(688年)如期完成。太后十分满意，提升他为左武卫大将军，正三品，封梁国公。从此男宠薛怀义也成了高官。
太后又命他继续建造天堂和大佛。这项公程费时六年，在太后即位为皇帝后才完成。这中间，薛怀义还为太后登基大造舆论说：“太后是弥勒菩萨降世”，应成为女王。他把《大云经》里讲的净光天女降世与弥勒菩萨混为一谈，迎合了人们信仰佛教的心理。
这几年，他仍然对被宰相苏良嗣暴打而纠结着，苏良嗣没被太后处理感到很不愉快，所以他心理有了障碍，越来越难满足太后炽烈的愿望。他吃了许多春药，也无济于事。
但是这不妨碍他另找年轻貌美的女人寻欢取乐，可能也是因为玩这些血人，要比奉侍太皇更能随意吧。他这样做也怕惹起女皇的愤怒，会招来杀身之祸。所以他在白马寺挑选了上千名身强力壮的和尚，作自己的近卫军，这些和尚近卫军仗着薛怀义胡作非为，无所不作。
这事很快就被周矩知道了，周矩为人刚正，他上奏女皇武则天要弹劾薛怀义。
武则天心想，薛怀义如果落入周矩手里，这个野和尚会什么也不顾地把宫里的秘事泄露出去，她这女皇的脸面也无光。于是，女皇下令，至于薛怀义以观后效。其余的和尚，交周矩全权处理。周矩把这些和尚全部流放到岭南。
薛怀义虽然对周矩的上奏很气愤，但也很害怕。可是，薛怀义却听说女皇已经有了另外的情人御医沈南騀，这位沈南騀确是武则天为女皇后的第二位情人，但是，时间不太长，至于什么原因不太清楚。
此时的薛怀义满腔的怒火，纵火把天堂和万象神宫都化为一片灰烬，损失之大，可想而知。
朝臣们都以为女皇会因为这两座耗资巨大，而她又十分喜欢的殿堂被烧毁而感到震怒，严查失火原因和纵火者。可女皇武则天却轻描淡写地说是工人不慎引起的火灾。这种态度，朝臣们感到很奇怪，但也琢磨出纵火者一定是薛怀义。
对于女皇武则天的不追究，反而仍然命令薛怀义重建明堂、天堂，还要造成代表天下九州的“九州大鼎”。可是，薛怀义却害怕了，他觉得这平静的背后不定隐藏着什么杀机。为此，他经常酗酒，脾气越来越暴躁，随便打人骂人，几乎和一个精神病患者没什么区别，从朝臣到和尚，没有一个不讨厌他的。女皇武则天再也不能忍受了，不然，说不定他又会闹出什么乱子。于是，她终于下决心秘密处死薛怀义。
她把这个烫手的山芋交给了聪明机智的太平公主，对她说： “我再也不能容忍这个疯和尚胡作非为了”。
太平公主会意地说道：“请圣上放心，把这件事交给臣下处理吧。”
不久，侍女奉太平公主之命，邀请薛怀义到瑶光殿说：“有事相求”。薛怀义本来就垂涎太平公主的美貌，以为这一定是件美事。临行前还精心打扮了一番。没想到，当他走到琉璃亭时，突然被抓。太平公主的哥哥建昌王武攸宁，率领十几名壮士大一会儿，就把这薛怀义打死了，薛怀义的尸体被秘密火葬。
