此时，和日本的危机已转移到上海，在上海每天都有暴力的反日事件发生。6一月底，日本一支陆战队以保护侨民的名义在上海登陆。当蔡廷锴的第十九路军向日军开火时，日本出动飞机轰炸上海，杀死许多平民。蒋亲自负责全面调度指挥军事行动，通电前线士卒誓死御敌。同时，他下令在河南省洛阳设立临时首都，以示政府决心持久抗战。日本急派更多部队和军舰，使得全市日军高达五万人。杜月笙也派出青帮狙击手在敌后攻击日本人。
根据蒋的说法，他警告蔡廷锴，敌军可能从长江南岸的浏河国军防线后方登陆。蔡未能派出部队守住此一地区。三月一日，一万名日军乘船溯长江抵达浏河。打从战事开始，中方部队就有四千人阵亡、七千七百人负伤，再也抵抗不了，全部退出上海。中国报纸、学生团体、宗亲会、寺庙和商业团体，无不主张全面抗日，但蒋批准局部停火，在城的四周划出中立区，国军不准进入。这个协定，和其政府与日本的一切协议相同，不由汪精卫或他本人签署;在他们眼里，协议因此是非官方的文件。三月，蒋就任军事委员会委员长及总参谋长。
由于日本攻击上海中国管辖区使得政府不遑兼顾，中共分散各地的苏区乘机快速发展。毛泽东在江西的苏区规模最大，涵盖三十个县、三百万人口;其次是张国焘的鄂豫皖边区。国军针对鄂豫皖边区发动两次围剿都以惨败告终，在淞沪战事冷却下来之后，蒋于一九三二年四月集结约四十万部队再次进剿，这次包围中兴建同心圆的碉堡步步进逼。张国焘发觉自己寡不敌众，且即将被彻底包围，遂率领鄂豫皖边区大部分部队突围，往西边的四川撤离，历时四年，其实比毛泽东的“长征”更壮观。
一九三二年六月，蒋在一项军事会议上讲话，宣称中共的根基就是国民政府机器的无能和贪腐……如果我们这次(围剿)不能取得决定性的胜利，将有大麻烦，因为政府不能既抗日而后方遭人攻击。但是一九三二年和一九三三年初针对江西共军的围剿之役又失败，且损失惨重，数以千计的武器被共军抢走。一九三三年五月，蒋指挥第五次围剿战役，采纳对付鄂豫皖边区的战术，集中力量兴建碉堡网，逐步围拢。这次他召集了八十万大军，大部分投入在扩建、补给和维护碉堡网，它们则受到机关枪交织火网的保护。双方损失皆以千计，但是到了一九三四年，作战区盖了一万四千座碉堡，修了近两千五百公里的新道路，提供对共军地盘的有效封锁。
同时，对日停火只适用于上海地区;一九三三年元旦，日军从东北出发，进占位在黄海边、长城最东端、扼东北进出门户的山海关。守山海关的东北军断断续续地抵抗，但他们不是日军的对手。一月间在军事会议上蒋说明他何以未能投入中央军抗日时，喊出“攘外必先安内”的口号。未来四年，他一再以此为号召。
日军继续南进，威胁到北平、天津。蒋在汪精卫支持下很难堪地同意华北局部停火(俗称《塘沽协定》)，宣布河北省北部为非军事区，实质上又把中国一大块领土让给日本实质(但非法理)的管控。蒋对一群军官解释，停火目的是“为缓和侵略”，争取时间以“保存华北，稍纡喘息”。他又说，“若是能抵抗三年、五年，我预料国际上总有新的发展，敌人自己国内也一定有的变化”，可以缓解情势，给我们机会“死中求生的一线希望”。同时，他禁止在沿海地区兴建新工厂，下令规划把重工业移到内陆省份。
一九三四年三月，蒋对一群资深政治领导人说，“总共还不到一千一百天”就会开始对日抗战——这个估计只比实际爆发抗战多了四十三天!他估计抗战要打十年，也算得上准确。他说，这段期间，列强最后会介入，世界大战将爆发;最后，日本国内将爆发革命。
日军占领热河，张学良辞去一切职务，进入上海一家教会医院勒戒鸦片烟瘾，用俗称的“冷火鸡法”成功戒毒。等到出院后，他舍政治、军事，纵情社交，出入皆有美女在侧。四月，少帅偕元配、爱妾赵一荻及大批扈从前往欧洲。同船的还有他另一位情妇席爱娜女伯爵(Countess Eddy Ciano)——墨索里尼的女儿，也是意大利大使的夫人。她后来要求张交还她写给他的情书。
委员长调派张学良还剩下的十三万东北军赴江西，参加下一次围剿。蒋晓得军事行动必须伴随着“政治措施，才能争取民心效忠”。他告诉属下将领，反共斗争是“三分军事、七分政治”。他说，如果“中共的宣传赢得人民支持”，特定的战役就不会有成果。因此，除了展开军事作战，他还投下大量时间和资源训练公民行动及宣传团队，甚至在庐山设立一个训练营专司其事。蒋好几次到学校演讲，强调土地改革是国家的生死大事，中国的根本问题，必须在军事命令下执行。可是就跟肃贪问题一样，主要的关键是如何不动摇军中及国民党内的稳定去执行土地改革。
