本来汉宣帝临终前，已给元帝安排好了辅政大臣，第一位是外戚侍中、乐陵侯史高，另两位是太子太傅萧望之和太子少傅周堪，并提升史高为大司马车骑将军，萧望之为前将军、光禄勋，周堪为光禄大夫，3人并领尚书事。任用外戚是西汉政治长期形成的传统，宣帝也不例外。史高是宣帝祖母史良娣的侄孙，宣帝幼年时养在史家，与史高有亲密关系，因此宣帝命他握有中朝决策大权，地位最为重要。萧望之、周堪都是元帝的师傅，是当代名儒，深谙政事。萧望之又引进宗室明经达学之士刘更生(楚王刘交的后代，成帝时改名刘向)、侍中金敞共参朝政，史称“四人同心，谋议劝道，正义古制多所欲匡正”。“匡正”什么呢?就是匡正君主。在中国古代，儒家主张实行人治。孟子说过：“君仁莫不仁，君义莫不义，君正莫不正，一正君而国定矣。”他们相信，只要统治者以身作则，言传身教，为臣民垂范道德人格，就可以实现天下大治。但是，君主握有生杀予夺绝对权力，而且再没有可以对其约束的机制，那么，“天子圣明”靠什么来保证呢?儒家无法解决这个矛盾，只能奢谈“正君心是大根本”，把政治问题变成一个君主的道德修养问题。所以萧望之等人就寄希望于对皇帝的教育，引导元帝努力实现儒家的“王道政治”的理想，以期改造一个国家或社会，扭转一个时期的社会风气。诚然，教育的功能不可低估，但绝不是万能的，萧望之等人太过于天真了!元帝即位不到一年，3人一体的辅政班子，就出现了裂痕。
史高以外戚之亲“领尚书事”，萧望之和周堪是他的副手。但开始时，汉元帝对自己的两位名儒师傅特别信任，萧望之等人的影响力越来越大。于是史高的心理失去了平衡，与萧望之的嫌隙日深，这便为宦官石显弄权提供了条件。
在外戚、儒臣、宦官三种势力中，汉元帝始终依赖宦官，因为他认为宦官没有家室，形不成盘根错节的庞大集团。这就是元帝时期宦官石显之流得势的根本原因。加之，宦官石显善于顺风承旨，阿谀奉承，元帝可以称心如意，为所欲为。其实石显之流早有“外党”，和外戚史丹、许嘉勾结在一起，还拉拢了一批见风使舵的儒臣匡衡、贡禹、五鹿充宗等人，结成朋党。还与长安豪侠万章交往甚密。体弱多病的元帝原想自己不理政事，而要通过宦官石显来控制大权，结果大权旁落，授柄于人，迫使萧望之自杀，周堪、刘更生被贬为庶民。
元帝之所以大权旁落，不仅在于近幸的狡猾技巧，更在于他自身政治水平的低能。司马光评述道：“甚矣，孝元之为君，易欺而难悟也。”宦官石显的专权，实际上正是汉元帝纵容的结果。
虽然元帝“柔仁好儒”，终因用人不当，威权旁落，最终使得西汉王朝走向了下坡路。王昭君“幸免”汉元帝临幸之迷
汉元帝竞宁元年春，匈奴呼韩邪单于，入朝见元帝乞求降公主以和亲。
汉元帝因无法抵御匈奴的侵犯，见呼韩邪来朝求婚，便答应了他的求婚，以解匈奴之患。可当柔仁的元帝回到后宫时，又踌躇起来，因为以真公主或宗族女嫁蛮荒之地，于心不忍。
当时冯昭仪在旁，她对汉元帝说：“后宫宫人上万，十之八九未见过陛下一面。陛下平时宠幸官人，都是按’图索骥，看见图上哪个美貌，就选哪个前来侍寝。如今不妨选一个姿色平常的宫女，这样既可与匈奴和亲，又可让她走出皇宫深院，也算是对她的一种恩赐吧!”原来元帝即位后，嫌后宫女子年长色衰，就下令挑选天下美女入宫，并让画工为她们摹画形貌，以便他每晚看图择其美者召幸。于是，元帝命人把后宫美人图取来。元帝拿到图后，便选定了一个姿色较陋的宫人，命有司代办妆奁。
第二天，元帝在金銮殿上宴请呼韩邪，并召出公主，以便与呼韩邪单于同赴客邸完婚。只见一群宫女拥出一位美人，袅袅婷婷地轻移莲步，走近御座之前辞行。元帝不瞧犹可，瞧了一眼，直把他惊得魂飞天外，原来此人是一位绝代佳人。只见她云鬟拥翠，娇如杨柳迎风;粉颊喷红，艳似荷花映日;两道黛眉，浅颦微蹙，一副似嗔似怨的模样，仿若空谷幽兰，直令后官粉黛失颜色。
