1923 年2 月1 日，京汉铁路总工会在郑州举行成立大会，张国焘受中央指派，于元月底前往郑州出席指导。在大会遭到军阀破坏后，张国焘参加领导了震惊中外的京汉铁路工人大罢工。
“二七惨案”发生后，总工会为了保存实力，下令复工。尽管罢工失败了，但此次罢工仍被认为是中国工人运动“第一个高潮”中影响最大的一次罢工。而张国焘受失败的影响，一度情绪不佳。
在6 月12 日于广州召开的中共三大上，陈独秀就“二七”大罢工的经过作了报告，并由“二七”大罢工失败得出结论：无产阶级力量薄弱，不足以与军阀对抗，必须发动国民革命，而国民革命的领导核心为中国国民党，因此，全体共产党员加入国民党的问题成为此次大会的中心议题。这正是共产国际关于共产党与国民党关系问题的决议，是共产国际对中共中央的指示。
在激烈辩论中，李大钊、瞿秋白等人对这一决议表示赞同，张国焘却依旧固执己见。早在一个月前，马林为了这一决议能在三大上顺利通过，曾拿着共产国际关于这一决议的文件给张国焘看，希望他能够支持共产国际，同意全体共产党员加入国民党。而张国焘并没有接受西湖会议的教训，当场与马林发生激烈争吵。如今，张国焘一如既往地站出来反对，令马林怒不可遏。马林在讲话中称：