一时间，德国内外反亨利力量声势震天，德国境内大大小小的封建主都兴兵造反，向亨利的王位发起挑战。
亨利面对危局，被迫妥协，1077年1月，他身穿破衣，骑着毛驴，冒着严寒，翻山越岭，千里迢迢前往罗马，向教皇忏悔请罪。
格里高利不予理睬，在亨利到达之前躲到了远离罗马的卡诺莎行宫。亨利没有办法，只好又前往卡诺莎拜见教皇。教皇紧闭城堡大门，不让亨利进来。为了保住自己的皇帝宝座，亨利忍辱跪在城堡门前求饶。
当时大雪纷飞，地冻天寒，身为帝王之尊的亨利屈膝脱帽，整整在雪地上跪了三天三夜，教皇才开门相迎，宽恕了他。
亨利恢复了教徒身份，保住了帝位。当他返回德国后，集中精力整治内部，将曾一度危及他王位的内部反抗势力逐一消灭。在阵脚稳固之后，他立即发兵进攻罗马，以求报跪求之仇。
在亨利的强兵面前，格里高利弃城逃跑，客死他乡。