很快唐寅就被抄了家，字画也逐渐没人敢买，想去投靠亲朋好友，结果无人敢接纳。没多久妻子秋香也去世了，还好后来之前老客户凤来阁老鸨见唐寅实在可怜，便想了个办法让唐寅在凤来阁作春宫图，拿出去卖，顺便能赚点钱，还可以替凤来阁宣传一番。
开始春宫图卖的甚好，后来刘瑾被诛，本以为字画会好卖些。
结果皇帝亲政，却重武抑文，导致字画市场更是一落千丈，春宫图都被列为禁图，只能私下偷偷卖了。
杜不忘听完，一声长叹！便又问着：
“现在字画还是卖不出去吗”。
唐寅回着：
“其它画几日都难卖一幅，春宫图但是有不少少年人会偷偷买几副回去，现在刘瑾早不在了，还能私下接些教书活，所以还能勉强维持我家里老娘与女儿生活”。
然后又说着：
“杜兄弟我劝你以后交朋友一定要小心，因为大部分人都是图你利益而来，当你有利用价值时候，没人在理你的，现在真心朋友太少了”。
杜不忘便说着：
“是啊，世态炎凉，是这样的，不过我好想交先生这个朋友，不知先生意下如何”。
唐寅便笑着回着：
“我与杜兄弟一句说来，也看的出杜兄弟你是个重情重义，忠厚实在的好人了，不然，我也不会与你说这么多真心话了，我当然愿意交你这朋友了”。