咸丰二年(1852年)，曾国藩因母丧在家。这时太平天国运动已席卷半个中国，尽管清政府从全国各地调集大量八旗、绿营官兵来对付太平军，可是这支腐朽的武装已不堪一战[2]。因此，清政府屡次颁发奖励团练的命令，力图利用各地的地主武装来遏制革命势力的发展，这就为曾国藩的湘军的出现，提供了一个机会。咸丰三年(1853年)藉着清政府给予寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方团练，称为湘勇。在团练湘勇期间，他严肃军纪，开辟新的军队，他先后将5000人的湘勇分为塔、罗、王、李等十营，先后将团练地点由长沙迁至湘潭，避免与长沙的绿营发生直接矛盾。1854年2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》。在这篇檄文里，他攻击太平天国农民战争是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”，接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。曾国藩残酷镇压太平天国起义，用刑苛酷，史称“派知州一人，照磨一人承审匪类，解到重则立决，轻则毙之杖下，又轻则鞭之千百。……案至即时讯供，即时正法，亦无所期待迁延”。不仅他自己直接杀人，他的父亲和四弟也杀人，即有人责其杀人过多，称呼为“曾剃头”、“曾屠户”[3]。据说，南京小孩夜哭，妈妈说“曾剃头来了”，小孩就不哭了。曾国藩知人善用，并以身作则遵守军纪，大军所到之处百姓皆“各行其是”，八本之一的“行军以不扰民为本”便可能总结于湘军剿灭太平天国这一时期。湘军在军事素质落后的清朝武装力量中成为中国南方地区与太平天国军事力量作战的主力之一。曾国藩被封为一等毅勇侯，成为清代以文人而封武侯的第一人，后历任两江总督、直隶总督，官居一品。1864年，湘军在其弟曾国荃的率领下攻下天京，成为镇压太平天国的功臣。
梁启超在《曾文正公嘉言钞》序内说曾国藩：“岂惟近代，盖有史以来不一二睹之大人也已;岂惟我国，抑全世界不一二睹之大人也已。然而文正固非有超群绝伦之天才，在并时诸贤杰中，称最钝拙;其所遭值事会，亦终生在指逆之中;然乃立德、立功、立言三不朽，所成就震古烁今而莫与京者，其一生得力在立志自拔于流俗，而困而知，而勉而行，历百千艰阻而不挫屈，不求近效，铢积寸累，受之以虚，将之以勤，植之以刚，贞之以恒，帅之以诚，勇猛精进，坚苦卓绝……”
畅游史海，可以看到“盛不过三代”是大多数官宦之家很难逾越的魔咒。而曾氏家族却代有英才层出不穷，出现了像曾纪泽、曾广均、曾广铨、曾昭抡、曾宪植等一代代杰出人物。探寻曾氏家族长盛不衰的奥秘，曾国藩留给后代的“四条遗嘱”起到了决定性的作用。
同治十一年(1872)三月十二日，六十二岁的曾国藩在儿子曾纪泽的搀扶下散步，他说：“我这辈子打了不少仗，打仗是件最害人的事，造孽，我曾家后世再也不要出带兵打仗的人了。”忽然，他连呼“脚麻”，倒在儿子身上，瞬时已不能说话了。临危之际，他抬手指了指桌子上早已写好的遗嘱，大意如下：
