元狩四年(公元前119年)，汉武帝决定出其不意，集结几十万大军与14万匹马横越大漠直扑匈奴单于主力。汉军兵分两路，分别由大将军卫青、骠骑将军霍去病各率领五万骑兵，其余几十万步兵、后勤部队跟随其后。汉武帝将所有精锐全部调拨给了霍去病，而且想让他获得歼灭单于主力的大功。原来汉武帝想让霍去病从定襄出兵攻击单于，后又听说单于在东面，于是又将他调往代郡出兵，卫青变为从定襄出兵。
这件事充分证明汉武帝是一个爱之欲狂的人，他宠爱霍去病已经到了丝毫不加掩饰的地步，不仅将年仅21岁的霍去病提拔到与他的舅舅大将军卫青一样的级别，而且将所有的精锐调拨给他，甚至不惜改变战前部署，就是想让他获得歼灭单于主力的这一最大功劳，而丝毫也不顾忌卫青的感觉。但非常幸运的是，霍去病从17岁第一次从军征伐匈奴起，每一次都用战绩证明了他一点也没有辜负汉武帝对他异常出格的偏爱，这也是汉武帝宠爱他的根本原因所在，否则以汉武帝的脾气，一定会翻脸不认人。
此时郎中令李广请求从军，汉武帝认为他老了，不允许，过了很久，才勉强答应，于是任命他为前将军，与左将军公孙贺、右将军赵食其、后将军平阳侯曹瓤所部均隶属于大将军卫青。赵信为单于谋划：“汉兵度过大沙漠，人马疲乏，我们就坐等收容俘虏了。”匈奴将辎重囤放在北边后方，集结精兵在漠北以逸待劳等待汉军。人算不如天算，卫青率军出塞千余里，穿越大漠，正好遇见单于的主力，汉武帝刻意的安排落空。卫青见匈奴列阵以待，于是命令用武刚车(一种战车)环绕为营，派出五千骑兵攻击与匈奴的一万骑兵作战。此时太阳落山，刮起了大风，沙砾击面，两军都互相看不见对方，汉军从左、右两翼包围单于。单于见汉军人马众多、兵强马壮，于是傍晚他乘着骡车与数百精骑突围向西北逃跑。
