就在此时，张灵甫的军事生涯戛然而止，他惹上了官司，罪名是故意杀人，被害人不是别人，正是张灵甫当时的妻子吴海兰。至于杀妻的原因，坊间流传着很多版本，有说因张灵甫怀疑吴海兰有外遇愤而杀妻，有说是因为吴海兰盗取了张灵甫的重要文件而招致杀身之祸。不管哪种是真，张灵甫坐牢已成必然。
然而，张灵甫的牢狱生活过了不到一年，就因1937年的七.七事变而出现转机。抗战爆发后，国民政府下令所有服刑官兵除政治犯外一律调服军役，戴罪立功，并保留原军衔。出狱后的张灵甫编入新成立的74军，担任305团团长开赴上海，参加淞沪保卫战。出发前，张灵甫给兄长写了一封绝笔家信。信中说：“此次对日之战，为国家民族争生存，兵凶战危，生死难卜。家人当认我已死，绝勿似我尚生。”从上战场的那一刻起就将自己的一切置之度外了。
这个平日在家人印象中沉默寡言、气定神闲的张灵甫，一上战场就成了连命都不要的拼命三郎。在嘉定作战的时候，面对日寇的疯狂冲锋，张灵甫光着膀子从战壕里一跃而起，抱着机枪就冲向敌阵，率领自己的部下连续打退敌人七次冲锋，一时间，张灵甫这个曾经的杀妻囚犯名声鹊起。
被田汉写进抗日剧本
真正让张灵甫名扬四海的是1938年10月的德安大捷。这场大捷是国民党继台儿庄胜利后的又一次大胜，而张灵甫在这场战役中立下了头功。当时，日军106师团占领了军事高地张古山，要歼灭日军，就必须先拿下张古山。在讨论作战方案的时候，众将都认为张古山山势陡峭，工事坚固，易守难攻，拿下绝非易事，只有张灵甫提出了一个明修栈道、暗渡陈仓的办法，解决了张古山战斗。张灵甫的办法是一面以大军在正面佯攻，一面派突击队突袭人迹罕至的张古山背面，以奇兵制胜。
