命二人起身前往行在相见。但江西宣谕刘大中闻得此讯，连忙上奏道：“臣到洪州，采访物论，皆谓岳飞提兵素有纪律，人情恃以为安。今岳飞将带军兵前赴行在，空恐民不安业，盗贼无所镇压，复至猖獗。”于是高宗皇帝息了召见岳飞的心思。又赐李回亲札，令其择本路盗贼炽盛处，专命岳飞征讨。
但此时的大宋面对伪齐和金人虎视眈眈的现状，不得不养兵以对，而靖康至建炎年间，金人肆虐，几乎将国库掏干，而为了充实军队，各处州郡皆大加苛税，于是便有盗匪横行。其时江南西路安抚大使朱胜非就曾上奏道：“土寇皆因朝廷号令无定，横敛不一，名色既多，贫民不能生，以至为寇。”
其时百姓正处于水深火热之中，残暴的金军、四起的盗匪和各处叛逃的官军于各处烧杀劫掠，所过之地极目灰烬，居所破残，十室九空。而此时的朝廷不以百姓为意，反而加紧横征暴敛，又有贪官污吏和土豪劣绅也乘机敲诈勒索，致使民不聊生。
原本大宋土地税为两税，按田地的肥瘠分成若干等，每等每亩各有定额。然而此时各州官府却用加耗、加一、加三、支移、折变、水脚、斗面、斛面等各种名目，使之税上加税。在江南路和荆湖路一带，甚至有正税米一石，而纳加耗米四石之奇事。同时原本百姓输纳粳米，如今却折变为糯米，使其价翻倍，又将糯米折为钱币，使之倍困人户。最终导致“税米一斛，有输及五、六斛；税钱一千，有输及七、八千者”。
非旦如此，苛税之外还有和买。原本和买绢帛及和籴粮草是官府出钱，但如今却往往“不酬其直”。即便如此，这项制度也如两税一般增加了折变、加耗等附税。而江南之地经历战祸后，蚕桑之家往往废业，为输纳及买绢，只能去他路收买，其中更有头子、市例、朱墨勘合、脚乘之费，及有不中退换等事，民间尤以为害。
另有役钱、科率等，更是无无收支文字可以稽考，最利作弊，此项收入，大多为贪官污吏所用，归于朝廷者不过十之一二。李纲前往荆湖南路赴任时，曾写诗描绘耳闻目睹之惨状：
“试呼耆老细询问，未语吞声已先咽：自从虏骑犯长沙，巨寇如麻恣驰突，杀人不异犬与羊，至今涧谷犹流血。盗贼纵横尚可避，官吏贪残不堪说，挟威倚势甚豺狼，刻削诛求到毫发。父子妻孥不相保，何止肌肤困鞭挞。上户逃移下户死，人口凋零十无八。”
而此时岳飞所驻的江南西路，情况也是相类，而且其中吉州、虔州两处地形险阻，山林深密，又处于与荆湖南路、广南东
…。。