苏武到了北海，匈奴不给口粮，他就挖野菜，逮田鼠吃。死活他都不在乎，最叫他念念不忘的是，他是汉朝的使者。他拿着使节放羊，抱着使节睡觉，他想总有一天能拿着使节回去。
一年一年地过去了，苏武手里的那个代表朝廷的使节上的穗子全掉了。可是他把那个光杆子的使节看成自己的命根子。
公元前８７年，汉武帝死了，即位的汉昭帝才八岁。公元前８５年，匈奴起了内乱，单于没有力量再跟汉朝打仗，又打发使者要求和好了。汉昭帝派出使者来到匈奴，要求放回苏武、常惠等人。匈奴骗使者说苏武已经死了。
第二次，汉朝又派使者到匈奴去。常惠买通了单于的手下人，私底下跟使者见面。使者明白了底细，就严厉地责备单于说：“我们皇上在上林园射下了一只大雁，大雁的脚上拴着一条绸子，是苏武亲笔写的一封信。他说他在北海放羊。您怎么可以骗人呢?”
单于听了吓了一大跳，说：“苏武的忠义感动飞鸟了!”他向使者道歉，答应一定送回苏武。
当初苏武出使时，随从的人有一百多，这次跟着他回来的只剩了常惠等几个人了；苏武出使时刚四十岁，在匈奴受难十九年，今天终于回国了。长安的人民听说苏武回来，都出来看。他们瞧见白胡须、白头发的苏武没有不受感动的，说他真是个大丈夫。
苏武牧羊的故事版本二：
苏武，字子卿，年轻时凭着父亲的职位，兄弟三人都做了皇帝的侍从，并逐渐被提升为掌管皇帝鞍马鹰犬射猎工具的官。当时汉朝廷不断讨伐匈奴，多次互派使节彼此暗中侦察。匈奴扣留了汉使节郭吉、路充国等前后十余批人。匈奴使节前来，汉朝廷也扣留他们以相抵。
公元前100年，且鞮单于刚刚即位，唯恐受到汉的袭击，于是说：“汉皇帝，是我的长辈。”全部送还了汉廷使节路充国等人。汉武帝赞许他这种通晓情理的做法，于是派遣苏武以中郎将的身份出使，持旄节护送扣留在汉的匈奴使者回国，顺便送给单于很丰厚的礼物，以答谢他的好意。苏武同副中郎将张胜以及临时委派的使臣属官常惠等，加上招募来的士卒、侦察人员百多人一同前往。到了匈奴那里，摆列财物赠给单于。单于越发傲慢，不是汉所期望的那样。
单于正要派使者护送苏武等人归汉，适逢缑王与长水人虞常等人在匈奴内部谋反。缑王是昆邪王姐姐的儿子，与昆邪王一起降汉，后来又跟随浞野侯赵破奴重新陷胡地，在卫律统率的那些投降者中，暗中共同策划绑架单于的母亲和阏氏归汉。正好碰上苏武等人到匈奴。虞常在汉的时候，一向与副使张胜有交往，私下拜访张胜，说：“听说汉天子很怨恨卫律，我虞常能为汉廷埋伏弩弓将他射死。我的母亲与弟弟都在汉，希望受到汉廷的照顾。”张胜许诺了他，把财物送给了虞常。
