中國西晉末年，朝廷傾危，各少數族首領乘機起兵反晉。漢國征東大將軍、羯族首領石勒率軍進入中原，當地豪強築塢自守（稱塢主）。建興元年(313)，主政的左丞相司馬睿（後為東晉元帝）鎮守建康(今南京)，軍咨祭酒祖逖要求領兵北伐，收復失地。司馬睿無心北進，僅授祖逖奮威將軍、豫州刺史，給千人口糧，佈3000匹，使自行募兵。八月，祖逖率部曲百餘傢渡江，至中流擊楫而誓：不收復中原不回渡。遂至淮陰（今屬江蘇）鑄兵器，募集2000餘人北上。先屯蘆洲（今安徽亳縣東），派員至譙城城（今安徽亳縣，一說河南夏邑北）勸說塢主張平、樊雅歸附，未成。祖逖派兵攻之，年餘不下，於是誘殺張平，進據太丘（今河南永城西北）。建武元年(317)六月，祖逖求得南中郎將王含和蓬陂（今開封南）塢主陳川的援助，說降樊雅，據譙城，並解除石勒部將石虎對該城的圍困。大興二年(319)四月，陳川懷疑祖逖分化其部眾，投奔石勒。五月，祖逖攻陳川，被石虎5萬援軍擊敗，退回淮南。石虎留部將桃豹守蓬陂，住西臺。十月，祖逖遣督護陳超進擊桃豹失利。三年六月，復派部將韓潛據蓬陂東臺，與桃豹相持40日。後以計使桃豹誤認為晉軍糧足，又截獲其糧秣，迫其宵遁。韓潛進屯封丘（今屬河南），祖逖鎮雍丘（今河南杞縣），數次遣兵攔擊已稱趙（史稱後趙）王的石勒所部，後趙守卒歸附者甚多。他還曾勸說塢主和解，受其統轄。後又準許有人質在後趙的塢主保持“兩面”關系。河水（黃河）以南塢主多棄後趙歸晉。祖逖練兵積谷，準備進取河北。但晉元帝卻於四年七月以尚書仆射戴淵充任都督六州諸軍事，統轄逖部。祖逖深感北伐難成，憂憤成疾，於同年九月逝世。次年十月，後趙軍乘機又入河南，祖逖北伐所克之地復失。