1902年,蒋先云出生于湖南省新田县大坪塘乡的一个书香家庭,1917年,他考入湖南省立第三师范学校。1914年五四运动爆发,蒋先云任湖南学生联合会总干事,成为湖南学生运动领袖。1921年,经毛泽东介绍,加入中国共产党。1922年9月14日,他同李少奇、李立三领导了震惊全国的安源路矿工人大罢工,随即成为工人运动领袖。
1924年他经毛泽东等人介绍,前去报考黄埔军校,以各科第一名的成绩考入黄埔一期,而在每次的考试中,他的学习成绩都是名列全校第一,与同学期的贺衷寒、陈庚3人被人们称为黄埔三杰,而他们当中,以蒋先云的笔,贺衷寒的嘴,陈庚的腿见长。
1927年,国共两党合作举行二次北伐,蒋先云被任命为国民革命军第11军26师77团团长兼党代表,率部北上河南,在河南临颖与奉系军阀作战时,蒋先云身先士卒,不幸中弹,壮烈牺牲。