仗着武则天的宠幸，薛怀义更是无法无天，大行不法之事，曾因武则天宠幸御医沈南璆，他便气急败坏地将明堂一把火焚毁。武则天明知是薛怀义干的，但也自觉难堪，没有追究，反而命薛怀义主持重修明堂，薛越发骄纵嚣张，树敌益多。
一天，薛怀义擅自闯入只有宰相可以出入的南衙，宰相苏良嗣瞧不惯他的嚣张气焰，喝令左右结结实实地搧了他几十个耳光。薛怀义捧着红肿的脸向武则天哭诉，不料武则天反而告诫他：“这老儿，朕也怕他，阿师以后当于北门出入，南衙乃宰相往来之路，不可去侵犯他。”
为了此事，武则天的女儿太平公主感到十分气愤，便当面说过她母亲：“为什么不选择姿禀秾粹的人来帮助游赏圣情，排遣烦虑，何必去宠幸那些市井无赖之徒，为千秋万世所讥笑呢？”武则天颇为感慨地答道：“你讲的确实不错，前些时候苏丞相打薛怀义的嘴巴，就是欺侮他是市井小人啊！假如是公卿子弟通晓文墨的，南衙又岂敢随便侮辱他。”
张氏兄弟“俱侍宫中，皆傅粉施朱，衣锦绣服，俱承辟阳之宠……每因宴集，则令潮戏公卿以为笑乐。若内殿曲宴，则二张诸武侍坐，樗蒲笑谑，赐与无算”。这就是骆宾王檄文中所指的“洎乎晚节，秽乱春宫”之事，这在《旧唐书;外篇列传》中也有记述，当时武则天已经是70多岁的老太婆了。
武则天不光自己与张氏兄弟昏天黑地胡搞，还替二张的母亲牵线搭桥找情人。而此时的薛怀义，因到处张扬武则天的私事，在武则天授意下，终被太平公主率人缢杀。武则天原以为张氏兄弟是公卿之后、世家子弟，大臣们就没人说闲话了，但忠心耿耿的内史狄仁杰偏偏不买账。狄仁杰先前就曾力谏武则天撤除秽乱深宫的“控鹤监”，现在又梗着脖子对武则天说：“昔臣请撤‘控鹤监’，不在虚名而在实际，今‘控鹤监’之名虽已除去，但二张仍在陛下左右，实在有累皇上的盛名。
