１９２７年４月，国民党蒋介石背叛革命，发动四一二政变，轰轰烈烈的大革命遭到失败。在中国革命的紧急关头，张太雷先后出席党的五大和八七紧急会议，当选为中央委员、中央政治局候补委员、改组后的中央政治局临时常委会委员。

八七会议后，中央派张太雷到广东工作，担任中共广东省委书记兼广东省委军委书记、中共中央南方局书记兼南方局军委委员。８月下旬，张太雷一到广东，立即传达八七会议精神，研究制定广东全省的暴动计划，并决定成立暴动领导机构，同时改组了广东省委。９月到潮州汕头一带组织群众接应南昌起义军。１１月到上海中共中央参加制定广州起义计划，下旬回到广州主持武装起义准备工作，组建了广州起义指挥机构——革命军事委员会，担任总指挥。张太雷接连组织召开省委会议和工农兵代表会议，研究确定起义时间、行动部署、政纲、宣言以及起义后建立苏维埃政府等事宜。

正当准备工作紧张进行之时，起义消息泄露。张太雷当机立断，于１２月１０日召开省委紧急会议，决定提前一天起义。１２月１１日凌晨，国民革命军第四军教导团全部、警卫团一部和广州工人赤卫队七个联队以及市郊部分农民武装，联合举行武装起义。经过几个小时的激战，起义军占领广州绝大部分市区。在张太雷主持下，成立广州苏维埃政府，张太雷任代理主席、人民海陆军委员。这是党通过暴动建立的第一个城市苏维埃政权。