1920年10月,北京共产主义小组一成立,即在京汉路的长辛店开展工人运动。次年春,共产主义小组成员赵子健来到郑县(今河南郑州),任郑州铁路职工学校教员,在工人中传播新思想,发动、组织工人。
不久,党的创始人之一李大钊也来到郑州,给工人讲革命道理,讲工人阶级团结的力量。1921年8月,郑州铁路工人俱乐部成立。1921年11月,陇海铁路工人为反对资本家的压迫、剥削而发动了全路大罢工,在共产党的领导和京汉铁路等地工人的大力支持下,罢工最终取得了彻底的胜利,并诞生了河南第一个党的组织——中共洛阳党组。
1920年10月份,李大钊同志在北京建立了共产主义小组,标志着在京汉铁路开始开展工人运动。李大钊同志曾两次来到郑州为工人们讲学,启发他们的思想觉悟。1921年8月份,中国共产党在上海成立了中国劳动组合书记部,作为公开领导工人运动的机关。在中国劳动组合书记部的领导下,京汉铁路沿线工会组织不断建立,工人运动蓬勃兴起,广大工人迫切要求建立全路统一的工会组织。
在这种形势下,京汉铁路总工会筹备会决定于1923年2月1日在郑州召开京汉铁路总工会成立大会。