1921年7月,中共一大在上海召开,标志着中国共产党成立。8月11日,根据“一大”决议,党在上海建立了公开领导工人运动的总机关——中国劳动组合书记部。关于“中国劳动组合书记部”这个名字,它是共产国际代表马林起的,由日本翻译而来,“劳动组合”是工会的意思,书记部是秘书处的意思。张国焘、邓中夏先后担任主任。此后相继建立北方分部、湖南分部,武汉分部、广东分部、山东分部、上海分部。毛泽东任湖南分部主任,谭平山任广东分部主任。
劳动组合书记部成立后,工作重点是继续对工人进行宣传教育,争取和团结旧工会,组织新工会。为继续扩大宣传和联络,劳动组合书记部创办了机关刊物《劳动周刊》,成为我国第一个全国性的工人刊物,被工人们称为“指路明灯”。在党的领导下,中国劳动组合书记部逐渐成为全国工人运动的总机关和领导者,在中华全国总工会成立前,担任了组织和领导工人斗争的重要角色。
1925年5月,中华全国总工会在广州成立,宣布取消中国劳动组合书记部,此后由中华全国总工会统一领导全国的工会,继续推进中国革命事业。