1103-ben született egy parasztcsaládban. Apja tudott írni és olvasni. Ösztönzésére szorgalmasan tanult. Erős testalkatú volt. Rendkívül szerette a Wushu harcművészetet és az íjászatot. Emellett sokat olvasott a hadtudományról, a hadviselésekről, a katonai taktikáról és stratégiáról.
Yue Fei az északi Song-dinasztia végén élt. Az urakodóház romlott volt. Kívülről gyakran megtámadták a dinasztiát. Az ország északkeleti részében élő nomád Nüjin nemzetiség létrehozta a rabszolgatartó Jin-dinasztiát. Ez a dinasztia irigyelte a Song-dinasztia gazdag vidékeit, ezért nagyszabású támadásokat hajtott végre a Song-dinasztia ellen a területszerzésért. Mivel a Song-dinasztia politikailag romlott volt, csapataiknak nem volt harci kedvük. A Jin-dinasztia akakulatai lerohanták a Song-dinasztia sok városát és elfoglalták nagy területeit. A Song-dinasztia egykori Song Huizong császára pánikba esett és lemondott trónjáról. Nagyobbik fia, Song Qinzong átvette apja helyét. 1127-ben a Jin-dinasztia csapatai lerohanták a Song-dinasztia fővárosát, Bianliant és elhurcolták Song Huiyong volt császárt és az újonnan trónra lépett Song Qinzong császárt. Ezt követően Song Qinzong egy másik fia, Zhao Gou került trónra, aki átköltöztette fővárosát a Jangce folyótól délre Linan városba, a mai Hangzhou városba, annak érdekében, hogy a természetes akadály, azaz a Jangce folyó felhasználásával megakadályozzák a Jin dinasztia csapatainak Dél-Kínába törését. A Linanban székelő Song-dinasztiát Dél-Song dinasztiának nevezik a kínai történelemben.