韩信早年最为人津津乐道的事情就是胯下之辱。据说有一天，韩信佩剑经过淮阴街市，有些手脚勤快养家糊口之人看不惯韩信一副穷酸样，四体不勤，五谷不分，还装模作样带把剑，实在是滑稽。于是，在众人的怂恿下，一位鲁莽少年站了出来，拦住韩信说：“虽然你长得人高马大，没事还老喜欢带把剑晃悠，但是我知道你其实是个缩头乌龟。”在那个时候，只有贵族身份的人才有资格带剑，因为当时冶金技术并不高，铸一把好剑很不容易。
韩信没有搭理他。少年更来劲了，高声喊道：“你要是不怕死，捅我一刀；要是不敢，从我胯下钻过去我就饶了你。”众目睽睽之下，韩信一言不发，盯着少年看了一会儿，然后弯下腰，匍匐在地上，从这个少年的胯下钻了过去。这件事成为韩信的笑柄，大家都以为韩信真的是个胆小鬼。
到陈胜、吴广起义后，韩信认为施展自己才华的时候到了。此时项梁也渡过淮河北上，于是他带着宝剑投奔了项梁，但是一直默默无闻，没有引起重视。项梁败死后，韩信归属项羽，项羽给他安排了一个郎中的职位，期间韩信多次给项羽出谋划策，却没能得到赏识。刘邦入蜀后，韩信离楚归汉，投奔刘邦的手下夏侯婴，做了个管理仓库的小官，继续默默无闻。直到有一次因触犯军法而被判处斩刑，同案的13人均已行刑问斩，依次轮到韩信，韩信抬头看了看夏侯婴，说：“汉王难道不想称王吗？为什么要杀掉有才华的人？”夏侯婴觉得这个人有胆识，又看韩信相貌威武，就免他一死，并跟他聊了会儿理想和人生。结果一聊发现这个人很有想法，于是就汇报给了刘邦。刘邦也没太当回事，只封了他一个管理粮饷的小官，并没有发掘韩信的潜力。