其后，李义府外任，也是贪污受贿，肆无忌惮。一次入朝，高宗都亲口劝他：“听说爱卿您的儿子、女婿多为不法，做事应谨慎些才好，我也替您多方回护，希望您嘱诫他们小心点儿，别太过份。”李义府闻言，“勃然色变，腮颈俱起”，反问皇帝：“谁和您说的?”高宗说：“我只是说说而己，您也别问谁告诉我的”。李义府不快，也不道歉，“缓步而去”。到这地步，“上亦优容之”，估计也是武后爱臣，高宗不敢拿他怎么样。李义府自惭自己祖上不是士族，便上奏改窜太宗时修编的《氏族志》，把自己家描写成“世代清贵”。
也是合该有事，有占卜者为李义府“望气”，说李家大宅“有狱气，积钱二千万乃可厌胜”，李义府闻知心急，“聚敛更急切”，并不时出城，白天黑夜登古坟四处瞭望。此举怪异，被不少人告发，说他“窥觇灾祸，阴怀异图”。这可正触皇家痛处，高宗夫妇不再容忍，审讯过后，把他一家子长流延州。毕竟有大功于皇帝皇后，以武后阴毒，竟能饶他一命。后来，因遇赦也未能放还，李义府“状愤发疾卒”，死年五十余岁。“自(李)义府流放后，朝士常忧惧，恐其复来，及闻其死，于是始安。”
从许敬宗，李义府两人的人品以及他们所受的“宠遇”，可以想见高宗、武后两人的喜恶爱憎及卑下格调。
“二圣”在朝——唐高宗时代的真正“皇帝”
唐高宗在位，长达三十多年(公元649至公元683)，虽属庸劣之君，又有悍毒之妇，但唐朝在这三十多年中仍旧按照惯性前进不辍，尤其是对外扩张的武功，赫赫扬扬，值得大书特书。
高宗永徽初年，唐将高侃击降东突厥余部，生俘车鼻可汗，东突厥土地皆隶唐朝;接着，唐军又数次发大军击破西突厥叛军，活捉自称“沙钵罗可汗”的阿史那贺鲁，再把西突厥分为两部，弱而治之，基本上角决了突厥问题;显庆年间，唐军又击灭野心勃勃的百济;龙朔二年，铁勒九姓合众十多万叛唐，唐将薛仁贵征讨。铁勒部族挑选数十位军中最骁健的战士出阵挑战，薛仁贵连发三箭，射穿三人。见势不妙，十几万铁勒人一齐滚落下马，叩降请死。“(薛)仁贵悉阬之，度碛北，击其余众”，手段虽属残忍，但谱就了中国军事史上一曲至为传奇的篇章。为此，唐军军士歌唱道：“将军三箭定天山，壮士长歌入汉关”;大将李勣不久又攻克高丽，隋炀帝、唐太宗地下有知，这两位表叔侄当举杯相碰：终于一伸恨怒之气!由此，朝鲜半岛基本处于大唐控制下，并在平壤设安东都护府，右武卫大将军薛仁贵率唐军两万人驻守当地;西域方面，唐朝更是在早些时候已经把在高昌的安西都护府移至中亚的龟兹国，并设濛池、昆陵二都护府。
武后真正掌握国政，当在麟德元年(公元664)。
武后登上皇后宝位初期，能“屈身忍辱，奉顺上意”，高宗觉得她既有大志又贤惠，喜欢得不得了。得志之后，武后“专作威福”，高宗想自己决定几件朝事，都会被武后制止，“上不胜其愤”，正应了那句话：“至弱之主，必有暴怒;至暗之主，必有微明”(王夫之)。高宗生气之余，又听说有妖道郭行真常出入武后卧内，行厌胜之法，更加大怒不止。于是，他密召西台侍郎上官仪谋议。上官仪“工于五言诗”，是个词客文官，回奏说：“皇后专恣，海内不服，请皇上废掉她”。高宗点头，马上命上官仪起草废皇后的诏书。
这边君臣二人正密谈，早有武后安排的宫女、宦者撒丫子飞奔，密报武后。武后也不慌，乘辇直入高宗寝宫，诉说自己无罪。“上(高宗)羞缩不忍，复待之如初。”好一个怯懦绿帽皇帝，面对悍妇，羞、惧、畏、忍，一齐涌上心间脸头，惟惟之余，他还把上官仪给“卖”了：“我本无此心，都是上官仪教我”。
武后冷笑。
从高宗处回到自己宫内，武后马上唤来得力走狗许敬宗，让他上书诬称上官仪与高宗长子燕王李忠谋反，不仅杀掉了上官仪父子，顺带弄死了李忠。李忠是高宗的刘妃所生长子。李忠当年降生，太宗李世民闻讯，高幸得亲自来贺李治，“酒酣起舞”，感染得在座群臣“遍舞”，可见当时满朝君臣的高兴劲儿。贞观二十年，太宗封这位皇孙为陈王。由于当时高宗王皇后无子，就养李忠为子，并经长孙无忌等人拥举，于永徽三年立为皇太子。永徽六年，王皇后被废，许敬宗等人“希旨上奏”，要求废李忠的皇太子，立武后之子李弘为皇太子。由此，李忠被废为梁王，封房州刺史。由于日渐长大，李忠“常恐不自安”，一日数惊，有时在自己家里身穿妇人衣服，以防刺客杀他。同时，他因多次作梦，常召巫士来其占卜。武后等人正要解决他，便以此为罪，把他贬为庶人，流放至黔州穷山恶水之地。由于上官仪早年作过李忠 “陈王”时的谘议，武后便乘机把这位“继子”也弄死了事。一石数鸟，可见武后的妇人之毒。
武后杀掉上官仪、李忠后，气焰更炽。“自是上(高宗)每视事，后(武氏)垂簾于后，政无大小，皆与闻之。天下大权，悉归中宫，黜陟、杀生，决于其口，天子拱手而已，中外谓之二圣。”盛年皇帝，完全成为自己老婆的傀儡，这也是天下一奇。
