薛怀义仗着武则天的宠幸，无法无天，大行不法之事，曾因武则天宠幸御医沈南璆，他便气急败坏地将明堂一把火焚毁。武则天明知是薛怀义干的，但也自觉难堪，没有追究，反而命薛怀义主持重修明堂，薛越发骄纵嚣张，树敌益多。
一天，薛怀义擅自闯入只有宰相可以出入的南衙，宰相苏良嗣瞧不惯他的嚣张气焰，喝令左右结结实实地搧了他几十个耳光。
薛怀义捧着红肿的脸向武则天哭诉，不料武则天反而告诫他：“这老儿，朕也怕他，阿师以后当于北门出入，南衙乃宰相往来之路，不可去侵犯他。”
为了这事，武则天的女儿太平公主曾当面说过她母亲：“为什么不选择姿禀秾粹的人来帮助游赏圣情，排遣烦虑，何必去宠幸那些市井无赖之徒，为千秋万世所讥笑呢？”
武则天颇为感慨地答道：“你讲的确实不错，前些时候苏丞相打薛怀义的嘴巴，就是欺侮他是市井小人啊！假如是公卿子弟通晓文墨的，南衙又岂敢随便侮辱他。”
