1920年夏至1921年春，随着马克思主义在中国的广泛传播，中国工人运动的蓬勃兴起，作为两者结合的中国共产党早期组织，在上海、北京、武汉、长沙、济南、广州等地以及赴日、旅欧留学生中相继建立，建党条件基本成熟，召开全国代表大会也在建党骨干中开始酝酿。
1921年6月初，共产国际代表马林和共产国际远东书记处代表尼克尔斯基先后到达上海，并与上海的共产党早期组织成员李达、李汉俊取得联系。经过交谈，一致认为应尽快召开全国代表大会，正式成立中国共产党。李达、李汉俊在征询陈独秀、李大钊的意见并获得同意后，写信通知各地党组织，要求各派两位代表到上海出席会议。
7月23日晚，中国共产党第一次全国代表大会在上海法租界望志路106号（今兴业路76号）召开。会场陈设简朴，气氛庄重。出席者共13人，有上海的李汉俊、李达，武汉的董必武、陈潭秋，长沙的毛泽东、何叔衡，济南的王尽美、邓恩铭，北京的张国焘、刘仁静，广州的陈公博，留日学生周佛海以及陈独秀委派的包惠僧。他们代表着50多名党员。
两位共产国际代表出席了大会。马林首先致词，对中国共产党的成立表示祝贺。他介绍了共产国际的概况，并建议把会议的进程及时报告共产国际远东书记处。随后，代表们具体商讨了大会的任务和议程。
7月24日，各地代表报告本地区党团组织的情况。25、26日休会，用于起草党的纲领和今后工作计划。27、28和29日，连续举行三次会议，对党的纲领和决议作了较为详尽的讨论。
7月30日晚，代表们正在开会，一名陌生男子突然闯入，环视一周后匆忙离去。具有丰富秘密工作经验的马林，断定此人是敌探，建议立即停会，大家分头离开。十几分钟后，法租界巡捕包围和搜查了一大会场，结果一无所获。由于代表们的活动已受到监视，会议无法继续在上海举行。代表们分批转移到浙江嘉兴南湖，在一艘游船上召开了最后一天的会议。
党的一大通过的《中国共产党的第一个纲领》，确定了党的名称、奋斗目标、基本政策，提出了发展党员、建立地方和中央机构等组织制度，兼有党纲和党章的内容，是党的第一个正式文献。
党的一大通过的《中国共产党的第一个决议》，对今后党的工作作出安排部署，鉴于党的力量还弱小，决定以主要精力建立工会组织，指导工人运动和做好宣传工作，并要求与其他政党关系上保持独立政策，强调与第三国际建立紧密关系。
考虑到党员数量少和地方组织尚不健全的情况，党的一大决定暂不成立中央执行委员会，只设立中央局作为中央的临时领导机构。大会选举陈独秀、张国焘、李达组成中央局，选举陈独秀任书记，张国焘负责组织工作，李达负责宣传工作。
中国共产党的成立大会，是在反动统治的白色恐怖下秘密举行的。除了大会会场一度遭到帝国主义的暗探和巡捕的骚扰外，在社会上并没有引起多大注意，好像什么事也没有发生。但是，就在这时，一个新的革命火种已在沉沉黑夜的中国大地上点燃起来了。
党的一大宣告中国共产党正式成立。从此，在古老落后的中国出现了完全新式的，以马克思列宁主义为行动指南的，以实现社会主义和共产主义为奋斗目标的统一的无产阶级政党。这是近代中国社会进步和革命发展的客观要求，是开天辟地的大事件。自从有了中国共产党，中国革命的面目就焕然一新了。
