贺若弼早就把他父亲告诉他的话忘得一干二净了，对文帝说：“高颎是我的老相识了，杨素是我小舅子，我太了解他们了，所以才会这么说他们。”这下好了，朝臣公卿都认为他应该杀头。隋文帝比较仁厚，念及其往日的功劳，下圣旨将其削职为民。不久，隋文帝又恢复了他的爵位，但对他的宠爱和信任早已不如从前，不再让他担任什么职务了。
开皇十九年（599年），隋文帝在仁寿宫宴请王公大臣，席间让贺若弼作五言诗。贺若弼的诗中充满了怨愤。文帝看了之后，虽然心中极为不满，最后仍然宽容了他，没有追究。到了第二年春天，贺若弼又获罪而被拘禁在家。文帝列举他的罪状说：“你有三个太过份：嫉妒心太过份；自以为是、贬抑别人太过份；目无尊上太过份。”但是没过多久，文帝还是释放了他。
杨广还是太子时，曾经问贺若弼：“杨素、韩擒虎、史万岁皆称良将，其优劣何如？”
贺若弼说：“杨素是猛将，非谋将；韩擒虎是斗将，非领将；史万岁是骑将，非大将。”