在勤于政事的同时，杜牧心情却颇为郁闷孤寂。他在《郡斋独酌》中说：
往往自抚已，泪下神苍茫！梆史记分洛，举趾何猖狂！阙下谏官业，拜疏无文章。寻僧解忧梦，乞酒缓愁肠。岂为妻子计，来去山林藏。平生五色线，愿补舜衣棠。
诗人一腔忠愤，主要倾注在削乎涪镇、收复河涅，使国家重新获得统一和强盛。然而由于唐王朝内部矛盾重重，已发展到不可救的地步。
正是这个时期，会昌二年（842年）八月，回鹘大举骚扰唐北方边境。乌介可汗帅众越过杷头烽南，突入大同，驱掠河东，虏牛马数万。
杜牧写《早雁》，用早雁比喻战乱中流离失所的百姓，寄托了对百姓的深切同情：
金河秋半虏弦开，云外惊飞四散哀。
仙掌月明弧形过，长门灯暗数声来。
须知胡骑纷纷在，岂逐春风一一回。
莫厌潇湘少人处，水乡菰米岸莓苔。