1921年10月，蔣先云與夏明翰、蔣嘯青等6人一同加入中國共產黨，成為湘南地區第一批共產黨員。1924年，第一次國共合作期間，黃埔軍校(中國國民黨陸軍軍官學校)初創，來自全國各地的有志青年前來報考，其中就有投筆從戎的蔣先云。黃埔軍校的考試要求十分嚴格，報考者要經過初試、復試、總考試三關，總考試包括國文、數學、歷史、地理等科目。蔣先云最終從1200余名參加總考試的優秀青年中脫穎而出，以第一名的成績成為黃埔軍校一期學生。

蔣先云入學后，按照國共兩黨合作的決策，也參加了國民黨，從而成了跨黨黨員。這位文武雙全的學霸，門門考試穩居第一，創造了黃埔軍校歷史上的奇跡，深得黃埔軍校校長蔣介石和政治部主任周恩來的賞識。軍校畢業后，蔣先云選擇留校任蔣介石的秘書。在國共第一次合作期間，蔣先云做了大量有利于兩黨合作的政治工作，調和了兩黨之間的關系。根據學習成績、社交能力和戰斗中的表現，師生們將一期學員中的佼佼者蔣先云、陳賡、賀衷寒并稱為“黃埔三杰”，蔣先云名列“三杰”之首。

好景不長，1926年3月20日，中山艦事件爆發，國共關系出現轉折。蔣介石調動軍隊戒嚴廣州，逮捕李之龍，包圍蘇聯顧問所，驅逐黃埔軍校及國民革命軍中以周恩來為首的共產黨員……蔣先云作為一個跨黨黨員，被迫做出抉擇。

蔣介石多次對蔣先云表達惜才愛才之情，并以官權相誘。但蔣介石沒想到，他的得意門生竟公然與自己對抗。軍校禮堂上，蔣先云帶頭站起高聲宣布：“我蔣先云，是共產黨員，永做共產黨員！頭可斷，共產黨籍不可犧牲！”隨后，一個又一個的軍官站起來，公開自己共產黨員的身份，宣布退出國民黨。

1927年初，蔣介石反革命陰謀日益暴露，蔣先云倡議成立黃埔學生反蔣委員會，任湖北省工人糾察總隊隊長率部北上河南。5月28日，在攻克臨潁城的戰斗中，蔣先云英勇犧牲，年僅25歲。