淮西集团势力的日益膨胀，威胁到皇权。朱元璋对他颇存顾忌，于是在洪武四年，以年高有病为名，让李善长告老还乡，时年五十八岁。其实，朱元璋早就有意撤换李善长，还曾经向刘基请教合适人选。
胡惟庸
刘基说：“善长为元勋旧臣，能调和诸将，不宜骤换。”朱元璋道：“善长屡言卿短，卿乃替他说情么？朕将令卿为右相。”刘基连忙顿首道：“臣实小材，何能 任相？”可能刘基预料到在淮西集团当权的情况下，必然会受到排挤，故而坚决不肯任相职。朱元璋又问：“杨宪何如？”刘基答道：“宪有相材，无相器。”朱元 璋又问：“汪广洋如何？”刘基道：“器量褊浅，比宪不如。”
太祖又问及胡惟庸，刘基连连摇头道：“不可不可，区区小犊，一经重用， 偾辕破犁，祸且不浅了。”朱元璋默然无言。但是后来朱元璋还是根据李善长的推荐，任用了善于逢迎的胡惟庸。刘基叹道：“惟庸得志，必为民害。”胡惟庸得知 后，便对刘基忌恨在心。不过，后来的事实证明，刘基的话还是有道理的。
因李善长的提携，胡惟庸于洪武六年，进入中书省，与汪广洋同 任右丞相，左丞相空缺。胡惟庸入相后，他的精明干练很快得到朱元璋的赏识。这期间，胡惟庸还将自己的侄女嫁给了李善长的弟弟李存义的儿子李佑为妻，结成姻 亲，使得他与李善长关系更进一步。有这样的元老重臣为后盾，胡惟庸更加胆大妄为。加上李善长的旧属们也极力帮助他，胡惟庸可谓如鱼得水。由于他逢迎有术， 渐得朱元璋宠任。到洪武十年，进左丞相，位居百官之首，独揽丞相之权。
随着权势的不断增大，胡惟庸日益骄横跋扈，独揽丞相大 权，生杀黜陟，为所欲为。内外诸司所上的奏章，胡惟庸必先取阅，对自己不利的，就隐匿不上报。他任意提拔、处罚官员，各地喜好钻营热衷仕进之徒、功臣武夫 失意者，都奔走于他的门下，送给他的金帛、名马、玩好，不计其数。胡惟庸一时间权倾朝野，许多人都看他脸色行事，敢怒不敢言。
大将军徐达对胡惟庸的擅权乱政，深恶痛绝，便把他的劣迹上告朱元璋
对于异己者，胡惟庸必定会打击报复。之前，因入相问题，胡惟庸就与刘基有过节。恰恰瓯闽间有一片空地名叫谈洋，一向为盐枭占据，刘基奏请设巡检司进行管 辖，盐枭不服，反而纠众作乱。刘基儿子刘琏将实情上奏，没有事先向中书省报告。掌管中书省的胡惟庸认为刘基蔑视他，越加愤怒，于是唆使刑部尚书吴云弹劾刘 基，诬称谈洋有王气，刘基想据为己有，用来修墓，应严加惩处。朱元璋便对刘基夺俸，刘基忧愤成疾，没过多长时间就去世了。
