这两谁都不服谁，本来俩人仇就大了，矛盾很深，就是因为刘光世在，看着老大的面子所以咱们都能忍，现在派这么一个文官来指挥这个部队，俩人就打起来了。打到什么程度啊，互相给对方告御状，状子告到宋高宗的前头来了，状子递到宋高宗的前头来，皇上您看吧，有他没我，有我没他，这事您看着办，皇上看了这件事，也不好处理啊，皇帝又不了解前线的情况，这事不好处理，不好处理怎么办呢，干脆啊把王德召回来得了，让吕祉跟郦琼来指挥这支军队，这事不就解决了吗？把王德召回来，于是这件事就开始操作，吕祉就在哪儿劝郦琼，别生气了，王德马上要被召回建康了，您忍一忍，忙活半天，结果吕祉文人低三下四，虽然是长官低三下四，这个郦琼是武将，骄横跋扈，吕祉很不高兴，回到自己营帐当中，吕祉就琢磨这个问题，俩人这打的鸡飞狗跳的，是好事啊，他俩一打对我有利，皇上怎么行此下策，给调走一个啊，你调走一个，就剩这郦琼了，他在淮西军中，他在刘家军中是老人，现在没有人限制他了，我一介书生，我一介文人，我牵制不住他啊，这事不好，皇上这一招失策。
于是吕祉赶紧给皇帝上疏，意思是说王德不能走，得把王德留下来，而且要把郦琼的兵权夺去，让他俩互相牵制，郦琼太跋扈了，刚才我劝半天他都不听我的，骄横难治。万万没想到的是，郦琼就防着吕祉这一招呢，吕祉身边有一个书吏，有一个办事员，是郦琼安插在这儿的间谍，于是这个人就把这个事儿报告给了郦琼，说尚书准备把你的兵权夺了把王德召回来，而且一般来讲像这种高官的上疏，他不是自己写，不是自己起草，主要由这些书吏，这些下吏来承办，因此这封信落到了郦琼的手里。
郦琼拿了这封信遍示诸军，看看看，这就是朝廷对待咱们，咱们为朝廷出生入死这么多年，结果咱刘大帅的兵权说夺就夺了，好不容易我能够领着弟兄们一块儿干，咱还一锅里吃饭，咱还一块儿干，结果现在派来个文官不说，这个人还要建议皇帝把咱们调走，兄弟们你们说怎么办？你想这一帮士兵多年跟随刘大帅，追随郦琼这帮人，实际上已经形成了一种私人之间的关系，不是说我是国家的军队，这种感觉了，所以这帮人立刻说那反了得了，把吕祉杀了，咱反了得了，哪儿不养活爷啊，咱干脆投降得了，往北走，咱投降，反正咱老家都在北方，有的士兵可能家眷没有带出来，也在北方，咱降了吧，好，郦琼一拍桌子，这事干得好，就这样领着将校进来，就把这个吕祉给捆了，吕祉一个文人吗，他没有能力反抗，捆了之后这支军队就过江过河，浩浩荡荡往北开去，就准备投奔伪齐。
在投奔伪齐过淮河的时候，离淮河还有三十里地的时候，吕祉虽然是文人很有气节，他不是捆在马上了吗，他自个儿一使劲儿骨碌下来了，说什么都不肯在往前再走一步，你们要投降你们去投降，我生为宋臣，死为宋鬼，绝不过淮水降敌，他不但不过淮水，他还招呼要走的这些将士们，说咱们都是大宋的军人，世受皇恩，皇帝待咱们不薄，现在郦琼逆贼要投降金国，咱们难道就忍心去降贼，军中难道就没有大丈夫吗，有没有人起来振臂一呼，歼此逆贼，他这一嚷嚷，果然很多士兵就开始犹豫了，有几千人就不走了，因为他的部队四五万人，有几千人就不走了，是啊，吕大人说得对，咱们是大宋的官兵啊，咱如果降敌的话，做汉奸的话，咱有什么面目去见祖宗啊，不走了，这一不走，郦琼害怕了，这小子挺能说，回头他再嚷嚷几嗓子，万一这士兵哗变怎么办，于是他给身边的他的亲信使眼色，亲信上去乱刀把吕祉砍死，然后吕祉就挟持这些士兵，就投奔了伪齐，这支部队一过去，多少人啊，能够占当时宋军总兵力的五分之一，几万精壮之士，一转眼就变成敌人了，就变成伪军了。
皇上把张浚给恨透了，都是你出的好主意，结果来了这么一档子，好吧，罢相，张浚罢相，贬出杭州，并且高宗发了一个狠誓，宁可亡国绝不用此人，我就是宁可亡国我也再不用你了，你这个人志大才疏，就长着一张嘴会胡说，当年让你打仗，你给我打成那样，现在听你的话削兵权，结果你给我削得好，兵权彻底削了，都跑到人家那儿了，所以宁可亡国绝不用此人，这个郦琼逃到伪齐，伪齐特别高兴，一下来了好几万生力军，而且熟知江南的地形，熟知江南的兵要地志，多好啊，因此呢就封郦琼为节度使，郦琼一下跟岳飞平级了，都变成节度使了，并且呢这个伪齐
（本章未完）