从布鲁克林中学毕业后，格雷厄姆以出类拔萃的成绩考上了美国的名校之一——哥伦比亚大学（很多年以后，当格雷厄姆以教授的身份重返哥伦比亚大学，巴菲特及当代的很多投资大师都曾是他的学生）。1914年夏天，格雷厄姆以荣誉毕业生和全班第二名的成绩顺利地从哥伦比亚大学毕业。在毕业后的职业选择上，他迫于生活的压力，毅然选择了华尔街，开始了自己的职业生涯，而放弃了留校任教的机会。
在华尔街的纽伯格-亨德森-劳伯公司，格雷厄姆做了一名统计员，主要负责把债券和股票价格贴在黑板上，周薪12美元。这是华尔街最低等的职位，却是格雷厄姆辉煌的投资事业的起点。经过多年的打拼，到1929年为止，格雷厄姆联合账户的资金已达250万美元。
但大危机接踵而来。尽管格雷厄姆非常小心谨慎，但在1930年损失了20%以后，他以为最糟糕的时候已经过去，便又贷款来投资股票。后来所谓的底部一再被跌破，那次大危机的唯一特点是“一个噩耗接着一个噩耗，糟得越来越糟”，到了1932年，格雷厄姆已经处在了破产的边缘。
格雷厄姆的伟大著作《有价证券分析》一书就是在这种背景下产生的，它是对1929年资本主义大萧条深刻反思的产物。凭借此书，格雷厄姆在有价证券这一行业创立了一整套卓有成效的理论。