李白在永王的军队里刚刚待了两个月，他的命运又发生了一次重大的转折。太子李淳首先发兵攻打永王，永王兵败，李白成了新皇帝死囚，后改为流放夜郎，给李白的政治生涯画上了一个悲剧的句号。
乾元二年（759年），因为皇帝要册立太子和关中大旱大赦天下，李白中途被释放，他再次站在了出三峡的船头。这一年，安庆绪杀死父亲安禄山，即位大燕皇帝。乾元二年（759年），安禄山的部将史思明杀了安庆绪，自立为大燕皇帝，大举南侵。这期间，李白在江夏活动，希望能出征，将功折罪，没有任何结果。
上元二年（761年），朝廷任命李光弼为南副帅，听到大军出征的消息，李白激动得热泪盈眶，他戴上军盔，手执长戟，腰佩宝剑，雄赳赳气昂昂地踏上了从军之路，他相信自己能杀敌平贼建奇功。但是，李白这时已经是61岁的老人，半路上他就病倒了，次年病死在族叔李阳冰家中。