等到要北渡黄河时，李乐负责准备船只。天子一行人徒步赶到河岸，却发现河岸高耸，难以下去。董承等人焦急万分，想出用马缰绳连接起来，系在天子腰间，把天子放下去的办法。这时，中宫仆伏德搀扶着皇后，他手中还拿着十匹绢。众人见状，便用伏德的绢连接起来，做成了一个简易的“辇”。行军校尉尚弘力气很大，他在前面背着天子，这才让天子顺利下到河边，登上了船。然而，还有很多人没能上船。后来，他们又派船回去接那些没上船的人，大家都争着攀附船只，船上的人为了自保，竟用刀刃砍断了他们的手指，船里的断指多得都可以用手捧起来，场面惨不忍睹。
杨奉、韩暹等人带着天子来到了安邑，由于条件艰苦，天子只能乘坐牛车。跟随在天子身边的，只有太尉杨彪、太仆韩融等十几位近臣。为了稳定局势，朝廷封韩暹为征东将军、胡才为征西将军、李乐为征北将军，他们与杨奉、董承一起把持朝政。
为了缓和局势，朝廷派韩融前往弘农，与李傕、郭汜等人讲和。经过一番艰难的谈判，李傕、郭汜同意归还之前抢走的宫女、公卿百官，以及几乘天子的车马。但此时的天下，正遭遇严重的旱灾，蝗虫肆虐，庄稼颗粒无收。跟随天子的官员们只能靠吃枣子和野菜充饥，生活十分困苦。
在安邑，天子的处境也十分艰难。皇帝居住的地方十分简陋，周围只有荆棘围成的篱笆，门户都无法关闭。天子与群臣开会时，士兵们竟然趴在篱笆上观看，还相互推搡取笑。那些掌权的将领们更是专横跋扈，有的甚至擅自鞭打、杀害尚书。司隶校尉出入时，还会遭到士兵和百姓的投掷攻击。有些将领还派婢女到宫中，或者亲自带着酒食，要求与天子一同饮酒。如果侍中不让他们进去，他们就会大声辱骂，根本无人能阻止。他们还竞相上表，请求封各营壁的百姓为自己的部曲，索要礼物。甚至连医师、走卒都被封为校尉，由于御史刻印来不及供应，竟然用锥子在木头上刻画，来表示官职，有的人还不能及时得到官职。
由于将领们各自心怀鬼胎，无法团结协作，整个朝廷上下一片混乱。很快，粮食也吃光了。无奈之下，杨奉、韩暹、董承等人只能再次护送天子返回洛阳。他们从箕关出发，沿着轵道前行。张杨得知天子的困境后，在路边献上食物，还被天子封为大司马。相关事迹在《张杨传》中有记载。
天子终于回到了洛阳，可眼前的景象却让众人痛心不已。曾经繁华的洛阳城，如今宫室被烧毁殆尽，街道荒芜，杂草丛生。百官们只能在荆棘丛中艰难前行，依靠着残破的丘墙勉强栖身。各地的州郡长官都拥兵自重，只为自己的利益考虑，没有一个人前来救援。朝廷的处境越来越艰难，饥饿和贫困笼罩着每一个人。尚书郎以下的官员，只能亲自出去砍柴采野菜，有些甚至饿死在了墙壁之间，一片凄凉悲惨的景象。