再說王躞在陽武口兵敗，自回鄂州，留下統制官王渥、趙興等四軍，轉隸程昌寓節制，移駐上讓江口。不久，楊么軍乘勝聚集了八隻車船，滿載一精銳鐵甲士卒出酉港進擊上游宋軍。雙方交戰於金風口，宋軍潰逃。程昌寓恐義軍攻鼎州，即於德山沅水對岸、社木寨、船場寨，各遣兵五百人戍守。
四年正月初七，程昌寓遣統制官杜湛，會王渥、趙興共率兵出戰。初九，攻克皮真寨，俘楊么軍陳欽等八十餘人，奪船三十只，於是招安各寨。六月，王躞自鄂州再至鼎州，聽說楊么拒絕招安，又派遣大軍進剿。七月，楊么軍反擊攻鼎州。
當時江水暴漲，社木寨地勢低平。水滿寨中，沖斷新陂橋，守寨宋軍無船轉移被困。楊么麾下首領楊欽率車船水軍徑入其寨猛攻，殺了守將許筌。守寨官兵五六百人疲弊無援，被殲殆盡。八月，王躞敗逃。朝廷以其出戰無功，屢戰屢敗，連貶三官，並調動兵力，準備大規模進剿。
岳飛先後平定了遊寇李成、張用、曹成和吉、虔州的叛亂之後，升任神武後軍統制。趙構賜御書“精忠岳飛”錦旗給岳飛，又將牛皋、董先、李道等部撥歸岳家軍，岳家軍兵力得到擴充。紹興四年春，岳飛上《乞復襄陽札子》，提出收復陷於偽齊政權的襄陽六郡：襄陽府、郢、隨、唐、鄧等州、信陽。並說道：“恢復中原，此為基本。”
岳飛還認為應先逐走李成，接著平定楊麼，再進圖中原。趙構詢問朱勝非、趙鼎兩人，朱勝非說道：“襄陽為江、浙上流，不可不急取。”趙鼎說道：“知上流的厲害，沒有人超過岳飛，當令岳飛專任此事。”趙構於是命岳飛兼荊南制置使，規劃收復襄陽。但是趙構又特別規定岳家軍不得稱“提兵北伐或言收復汴京”，只以收復六郡為限。
四月十九日，岳家軍又重返戰場，由江州向鄂州挺進。在從武昌乘船渡江北上時，岳飛情緒昂揚地對幕僚說道：“飛不擒賊帥，復舊境，不涉此江！”於是，岳飛長驅來到郢州。此時郢州已被劉豫所部佔領，並派遣部將京超拒守。京超非常有勇力，平素號稱萬人敵。他聽說岳飛來到城下，當即上城頭守禦。他自恃有勇力，因此不怎麼防備。
岳飛一到，就下令道：“先登上城者有賞，退後者立斬！”他坐在大纛下指揮，忽然有一大塊炮石飛墜在他面前，左右都為之驚避，岳飛的腳卻紋絲不。部將王貴、牛皋等，奮勇登上了城牆。岳飛麾眾隨進，前仆後繼。霎時間岳家軍拔去了偽齊的旗幟，換成了宋軍旗幟。京超開城逃走，被岳飛派遣大將追趕，京超跳崖而死，郢州得以收復。岳飛安民之後，立即進軍襄陽。
牛皋字伯遠，汝州魯山人。牛皋所在的魯山縣石碑溝村處於深山老林，交通閉塞，人煙稀少。牛皋入伍之前，以賣柴為生，與老母和妻兒相依為命。牛皋力大如牛，挑五百多斤重的擔
子還健步如飛。每次上山砍完柴，他都去砍一棵結實的樹做扁擔，然後挑著5柴火進魯山縣城去賣。
光賣柴火很難滿足家庭的日常開支，這時牛皋就想到了發揮自己的射獵技藝。牛皋從小就喜歡彈弓、射箭之類，隨著不斷練習，他的射獵技藝有了很大長進，幾乎是百發百中，箭無虛發。石碑溝村林豐鳥多，給了牛皋充分施展射藝的機會。每次進城賣柴，牛皋都要捎帶一些野兔、野雞等獵物。如此一來，生活倒也不愁。更重要的是，在日復一日的艱苦勞作中，牛皋不僅練就了強壯的身體，同時將射獵技藝也發揮到了爐火純青的地步。
後來，由於牛皋在家鄉組織抗金有功，被晉升為西道招撫使及蔡、唐、信軍鎮撫使。紹興三年，岳飛統管江西、湖北軍務，決定由襄漢進軍中原，收復失地。牛皋奔赴臨安面見趙構，力陳劉豫必敗，中原可復。趙構將牛皋所部劃歸岳飛指揮，牛皋由此加入岳家軍。
在牛皋加入岳家軍之前，二人就多有來往，而且交情深厚。牛皋年長於岳飛，加之戰功卓越，因而頗得岳飛敬重。自此，牛皋就擔任岳家軍的副帥。岳飛見到牛皋之後，非常欣喜，當即命牛皋為唐、鄧、襄、郢四州安撫使，後又任牛皋為中部統領。接著就隨岳飛收復襄陽六郡。
王貴是相州湯陰人，是岳飛的發小，跟隨岳飛起兵。王貴一直效力於岳飛麾下。朝廷命武功大夫、昌州防禦使岳飛為通泰鎮撫使、兼知泰州。金國元帥左監軍完顏昌圍困楚州，因為軍情緊急，岳飛於八月輕騎先行赴任，命身為統制的王貴指揮主力自江陰軍渡江。
紹興二年正月，曹成擁兵十萬，意圖席捲東南，朝廷命岳飛權知潭州、權荊湖東路安撫使、馬步軍都總管，對曹成剿撫並用。閏四月，曹成戰敗，逃往連州，岳飛遣前軍統制張憲追擊，將曹成逐出廣南東路；又遣中軍統制王貴繼續追擊，將曹成逐出荊湖南路。
紹興三年，朝廷命岳飛平定盤踞吉州的彭友、李滿等人和盤踞虔州的陳顒、羅閒十等人。岳飛所部到吉州，分遣中軍統制王貴和前軍統制張憲進兵，生擒彭友、李滿等人。岳飛乘勝進攻虔州，分兵攻打叛軍的幾百座山寨，各處山寨紛紛陷落。岳飛上札要求為立功的王貴升轉三官，其中一官授遙郡刺史，一官按規定授予其親屬。
紹興四年，朝廷以鎮南軍承宣使岳飛兼荊湖南路鄂嶽州制置使，出兵收復京西路襄陽府、唐、鄧、隨、郢州和信陽軍。臨行前，趙構特賜王貴、張憲、徐慶捻金線戰袍各一領、金束帶各一條。
李成率眾迎戰，把步騎分為兩隊，步兵列在平野，騎兵面臨襄江。岳飛一看，不由笑道：“步兵利在險阻之處，騎兵利於平曠之地。現在李成剛好與此相反，顯然違背兵法。他雖然有十萬多人，怕他什麼？”岳飛於是在馬上，舉鞭指示王貴說道：“你可用長槍步卒
【目前用下來，聽書聲音最全最好用的App，集成4大語音合成引擎，超100種音色，更是支持離線朗讀的換源神器，huanyuanapp.org 換源App】
，擊他騎兵！”又指著牛皋說道：“你可率騎兵，擊他步卒！”兩將奉令，分頭前進。
王貴殺入敵騎陣內，專用長槍，刺他坐馬。戰馬中槍即墜，騎兵紛紛落馬，被殺死無數，剩餘的騎兵也大多被逼入江中，多半溺死。牛皋殺入步兵隊裡，怒馬馳騁，銳不可當，李成步軍不是被殺斃，就是被踏死，又傷亡了無數。李成顧命要緊，也無心管及部下，只好飛馬逃去，岳飛於是克復襄陽。
還有劉豫部將，駐紮在新野，收集潰眾，準備再戰。岳飛接著派牛皋攻打隨州，王貴攻打唐州和鄧州，張憲攻信陽軍。他親自率領裨將王萬，分作左右兩翼，攻擊新野的賊兵。李成眾所部已是虎口餘生，早知道岳家軍厲害，一見嶽字旗幟，早已魂膽飛揚，逃得不知去向，此外偽齊兵士，自覺形勢孤單，當然潰散。被岳飛、王萬兩翼，痛剿一陣，徒落得屍橫遍野，血流成渠。
張憲是岳飛最為倚重的將領之一，從微相隨。建炎年間，張憲就已經在岳飛軍中嶄露頭角。紹興元年，岳飛奉命到江南西路討伐叛將李成，留下張憲在徽州保護軍隊家屬。徽州知州孫佑拒絕付給錢糧，張憲與之發生齟齬。後來張憲以三日內離開徽州為條件，才得到糧食。
紹興二年四月，岳飛討伐曹成。張憲與吳錫軍自全州南下，解除曹成對桂州之圍。張憲奉命攻打荔浦縣的莫邪關，親兵郭進奮勇先登，攻破關城。當時第五將韓順夫夜晚放鬆警備，飲酒作樂，當夜敵軍悍將楊再興率軍反撲，殺死了韓順夫和岳飛之弟嶽翻。張憲與後軍統制王經率部擊敗楊再興。
岳飛在賀州擊敗曹成後，命張憲統兵與徐慶、王貴招降曹成黨羽兩萬人。張憲在追擊中，俘獲楊再興。當時曹成的部將郝政率部逃到沅州，頭戴白色毛巾，發誓為曹成報仇，號稱“白巾賊”，張憲到沅州一舉擒獲赦政。
紹興三年，當時虔、吉二州盜賊反叛，他們聯合兵力寇掠循、梅等十幾個州郡，趙構命岳飛領軍前往討伐盜賊。張憲跟隨岳飛平定虔、吉二州盜賊，因功從武功郎、閤門宣贊舍人之職升任為武略大夫、吉州刺史等。紹興四年四月，在岳家軍第一次北伐前夕，趙構特賜張憲捻金線戰袍和金束帶。
等岳飛回到襄陽後，牛皋、王貴、張憲就陸續報道勝仗，所有隨州、唐州、鄧州、信陽軍，一律被收復。於是襄、漢都被平定。岳飛移屯德安，軍聲大振，當即上表告捷。趙構聞報大喜道：“朕素聞岳飛行軍有律，不料他遽能破敵，竟成大功。”因下詔褒獎。
岳飛也上疏說恢復事宜，大旨意思是：金人所愛的，是子女玉帛，現在他們志已驕惰。劉豫僭偽，人心終不忘宋廷，如果以精兵二十萬，直搗中原，恢復故疆，並不是難事。襄陽、隨、郢地都是膏腴之地，苟行營田，其利甚厚，臣一旦糧足，即過江北剿敵。