蒋决定不为儿子介入，即使动用很小的特权也不行，增添了他的在批评日炽之下产生的烈士意识。他可能认为再次下野，像一九二七年那次，会替他挣回已失去的道德权威，同时也许终能完全恢复其地位——虽然不是百分之百保证。因此，一九三一年十二月十五日，蒋介石辞去一切职务，次周即偕同夫人搭机离开南京。他们先降落在奉化附近的草地，再换汽车沿新辟的一条泥土路，搭轿回溪口。
和上次一九二七年下野一样，蒋介石在一九三一至一九三二年的冬天于溪口赋闲，不久就接到黄埔系将领函电交驰，宣称仅肯接受他的命令，又说自从他下野，就再也没收到支付部队粮饷的资金。政府主要岁入来源是关税收入，东北一失，关税流失占了全国海关总税收的百分之十五。中央政府虽换由孙中山之子孙科领导，各省扣住盐税不肯上缴。工商组织、民间团体甚至一些青年社团现在疾呼总司令回任。蒋亦获悉，莫斯科继释放蒋经国之计，又向南京提议恢复外交关系。蒋可以肯定斯大林企图增强国民党内反日派的声势，而又不明白蒋的真正立场。
一九三二年一月蒋在溪口武岭学校的一篇演讲，经上海等地报纸刊载。他重申政府“坚持不屈服，不订损共国权之约”。但是，他也警告，鉴于当前国家实力和精神，不宜轻举妄动，否则“战败之国未有不失地，未有不丧权者”，结果势必“斲丧……中华民族之命脉”。他的话引起当家负责的同志共鸣。固然南京政府当权派只有少数人喜欢蒋，而广州那一伙更没人喜欢他，他们不情愿地接受，在此一危机下，他毕竟是不可或缺的人物;一个月之内，他们投降了。一九三二年一月，蒋和汪精卫在杭州会面，协议由汪精卫取代孙科出任政府首脑，蒋回任军事总司令。
此时，和日本的危机已转移到上海，在上海每天都有暴力的反日事件发生。6一月底，日本一支陆战队以保护侨民的名义在上海登陆。当蔡廷锴的第十九路军向日军开火时，日本出动飞机轰炸上海，杀死许多平民。蒋亲自负责全面调度指挥军事行动，通电前线士卒誓死御敌。同时，他下令在河南省洛阳设立临时首都，以示政府决心持久抗战。日本急派更多部队和军舰，使得全市日军高达五万人。杜月笙也派出青帮狙击手在敌后攻击日本人。
根据蒋的说法，他警告蔡廷锴，敌军可能从长江南岸的浏河国军防线后方登陆。蔡未能派出部队守住此一地区。三月一日，一万名日军乘船溯长江抵达浏河。打从战事开始，中方部队就有四千人阵亡、七千七百人负伤，再也抵抗不了，全部退出上海。中国报纸、学生团体、宗亲会、寺庙和商业团体，无不主张全面抗日，但蒋批准局部停火，在城的四周划出中立区，国军不准进入。这个协定，和其政府与日本的一切协议相同，不由汪精卫或他本人签署;在他们眼里，协议因此是非官方的文件。三月，蒋就任军事委员会委员长及总参谋长。
由于日本攻击上海中国管辖区使得政府不遑兼顾，中共分散各地的苏区乘机快速发展。毛泽东在江西的苏区规模最大，涵盖三十个县、三百万人口;其次是张国焘的鄂豫皖边区。国军针对鄂豫皖边区发动两次围剿都以惨败告终，在淞沪战事冷却下来之后，蒋于一九三二年四月集结约四十万部队再次进剿，这次包围中兴建同心圆的碉堡步步进逼。张国焘发觉自己寡不敌众，且即将被彻底包围，遂率领鄂豫皖边区大部分部队突围，往西边的四川撤离，历时四年，其实比毛泽东的“长征”更壮观。 一九三二年六月，蒋在一项军事会议上讲话，宣称中共的根基就是国民政府机器的无能和贪腐……如果我们这次(围剿)不能取得决定性的胜利，将有大麻烦，因为政府不能既抗日而后方遭人攻击。但是一九三二年和一九三三年初针对江西共军的围剿之役又失败，且损失惨重，数以千计的武器被共军抢走。一九三三年五月，蒋指挥第五次围剿战役，采纳对付鄂豫皖边区的战术，集中力量兴建碉堡网，逐步围拢。这次他召集了八十万大军，大部分投入在扩建、补给和维护碉堡网，它们则受到机关枪交织火网的保护。双方损失皆以千计，但是到了一九三四年，作战区盖了一万四千座碉堡，修了近两千五百公里的新道路，提供对共军地盘的有效封锁。
同时，对日停火只适用于上海地区;一九三三年元旦，日军从东北出发，进占位在黄海边、长城最东端、扼东北进出门户的山海关。守山海关的东北军断断续续地抵抗，但他们不是日军的对手。一月间在军事会议上蒋说明他何以未能投入中央军抗日时，喊出“攘外必先安内”的口号。未来四年，他一再以此为号召。
日军继续南进，威胁到北平、天津。蒋在汪精卫支持下很难堪地同意华北局部停火(俗称《塘沽协定》)，宣布河北省北部为非军事区，实质上又把中国一大块领土让给日本实质(但非法理)的管控。蒋对一群军官解释，停火目的是“为缓和侵略”，争取时间以“保存华北，稍纡喘息”。他又说，“若是能抵抗三年、五年，我预料国际上总有新的发展，敌人自己国内也一定有的变化”，可以缓解情势，给我们机会“死中求生的一线希望”。同时，他禁止在沿海地区兴建新工厂，下令规划把重工业移到内陆省份。
