恰在此时，李善长为了娱 老，大兴土木，因缺少工人，向信国公汤和借用卫卒三百名，以供营建。以营卒为工役，这种事情本是常事。但汤和胆小怕事，又不敢得罪李善长，因而表面应允， 暗中却向朱元璋报告，这无疑是说李善长私自集结兵力。凑巧，京中吏民为党狱诛累，坐罪徙边，约有数百人，中间有一个叫丁斌的，为李善长私亲，李善长便替他 求免。由于朱元璋对李善长的猜忌之心日重，他不但没有答应李善长的请求，反而命令将丁斌拿获。经审讯得知，丁斌偏巧曾经供事胡惟庸家，于是供出不少李、胡 两家的往来之事。这样，便认定了李存义、李佑父子伙同谋叛的罪状，立即将他们从崇明岛拘捕进京，重新审理定罪。
史上被诛九族
接着，朱元璋便颁 布严敕说，李善长以“元勋国戚，知逆谋不举，狐疑观望怀两端，大逆不道”。真是欲加之罪何患无辞！于是，七十七岁的李善长被赐死，其妻、女、弟、侄等一门 七十馀人被杀。只有李善长的长子李祺及两个儿子，因为临安公主的缘故，得以免死，流徙江浦。
然而胡惟庸的独断专行，使相权与皇权的冲突更为明朗化了
与此同时，朱元璋又策划陆仲亨的家奴告发陆仲亨与唐胜宗、费聚、赵雄三名侯爵，曾串通胡惟庸“共谋不轨”。一场“肃清逆党”的政治运动铺天盖地而来，到处侦捕，牵 连蔓引，共有三万馀人被诛戮。连一向与胡惟庸关系疏远的“浙东四先生”也未能幸免，叶升以“胡党”被杀，宋濂的孙子宋慎也牵连被杀，宋濂本人则贬死于四川 茅州。
为了平服人心，朱元璋特地颁布《昭示奸党录》，刊印多册，发往各地，晓谕臣民，以此为戒。胡惟庸案至此才算告一段落，前后迁延近十年。
朱元璋如此煞费苦心，兴此大案，究竟是何用意？
朱元璋建立明朝之初，设有宰相制，宰相都称为丞相，当时丞相共有左、右二员，左比右大，分任左、右丞相的是李善长和徐达两人。
朱元璋即帝位后，逐渐感到帝权与相权的冲突，唯恐臣下权力太大，会导致元末“宰相专权”、“臣操威福”的局面重演。有鉴于此，几次设法试图调整，以加强 皇权。最早被杀的是中书左丞相杨宪。杨宪于洪武二年九月入为中书右丞，洪武三年李善长病休时，便实际操纵中书省大权，升为左丞。他玩弄权术，陷害同僚， “市权要宠”，很快被朱元璋杀死
接着是右丞相汪广洋被杀。朱元璋鉴于李善长权力过大，威胁帝权，于是在撤换李善长后，最初选中了汪广洋接替李善长的相位。汪广洋遇事小心谨慎，又以“廉明持重，善理繁剧”而著称。 洪武六年，胡惟庸进入中书省，与汪广洋共任右丞相。之后，汪广洋以“无所建白”贬为广东参政。但是汪广洋一离相位后，胡惟庸遇事专断与李善长相比有过之无不及。况且李善长还借胡惟庸等人，遥执相权，势力更甚于前。
汪广洋被贬后，当然也不服气，便暗中收集李善长的不法证据，于洪武九年(1376)与御史大夫陈宁，合疏参劾李善长有“大不敬”之罪。这当然正中朱元璋 的下怀，于是洪武十年九月，朱元璋先升胡惟庸为左丞相，再调回汪广洋为右丞相，以牵制胡惟庸，改变胡惟庸独相的局面。
然而汪广洋复 相后，整日喝酒，并没有起到应有的牵制作用，反而事事调和，公事“惟以他官剖决，不问是非，随而举行”。这令朱元璋大为失望，又把他贬往广南地区。即使这 样，仍未能平息朱元璋的怒气，便又追加诏书，下令追到后，即将汪广洋就地处死，洪武十二年十二月汪广洋被贬杀。
由上可知，明初的丞相擅权不行，尸位素餐也不行，放权、抓权均无好下场。朱元璋对于相权的存在实际上已深为反感，他不能容忍相权过大，绝不希望有凌驾于众人之上的权臣存在，废相只是时间问题。 然而胡惟庸的独断专行，使相权与皇权的冲突更为明朗化了。胡惟庸之前，李善长小心谨慎，徐达经常带兵在外，汪广洋只知饮酒吟诗，皇权与相权的矛盾尚不突出。但胡惟庸为相七年，擅权乱政，使得朱元璋感得大权旁落，除了剪除别无选择。
