先是，辅公祏遣其将冯慧亮、陈当世将舟师三万屯博望山，陈正通、徐绍宗将步骑二万屯青林山，仍于梁山连铁锁以断江路，筑却月城，延袤十馀里，又结垒江西以拒官军。 （《资治通鉴》）
五万江淮军主力，是辅公祏手上最后的家底。从表面上看，辅公祏将这五万兵力分配得很是合理，三万水师精锐，布置于博望山一带；另外的两万步骑，则陈兵青林山。五万兵马，分兵把守博望山、青林山两处，互为犄角，无论唐军攻打哪里，都能相互支援。辅公祏企图采用这种战术，与唐军对抗。
不久，唐军赶到。赵郡王李孝恭与副帅李靖合兵一处，二人率领唐军水师，抵至舒州。紧接着，大将李世勣也率领一万唐军步兵，渡过淮河，攻克寿阳，师次硖石，配合李孝恭、李靖主力的行动。
唐军的三位主将（李孝恭、李靖、李世勣）全部到齐，接下来，便要和辅公祏正式开战。单从兵力对比来看，辅公祏有五万大军。至于唐军方面，李孝恭、李靖统率的兵力，史上没有记载，但至少也应该在两到三万左右，加上李世勣的一万步兵，总兵力应该是三万人马。所以，在兵力人数上，唐军并不占优势。
可是，辅公祏并没有因为手上兵力多于唐军，便有恃无恐，反而更加谨慎。辅公祏认为，先前几番交手下来，江淮军基本是节节败退，没有打过一场像样的胜仗，士气低落到了极点。因此，此时此刻，绝不能贸然与唐军决战，那样只会败得更惨。当下最明智的选择，避其锋芒。
所以，辅公祏派往前线的将领冯慧亮等人，严令部下，坚壁不战，不与唐军交锋。这一点，似乎和李世民一直奉行的疲敌战术很像，坚守营垒，消耗对方有生力量，再寻机一举败之。冯慧亮剑走偏锋，打算用李世民的战术，对付唐军。可惜，冯慧亮不是李世民，他没有学到李世民战法的精髓，很快就被唐军破解了。
疲敌战术讲究的是什么？两个字：耐心。通俗地讲，就是不管对方如何挑衅，都要稳如泰山，坚守营寨。显然，冯慧亮没有这个耐心，失去了和唐军打持久战的耐心，露出了巨大的破绽。
唐军主帅李孝恭，看出了冯慧亮等人的真实意图，他们坚壁不战，就是要和唐军打消耗战，逐渐拖垮唐军。李孝恭毕竟是沙场名将，经验丰富，哪能让冯慧亮轻易得逞。于是，李孝恭旋即来了一招釜底抽薪，派出一支唐军奇兵，截断江淮敌军的粮道，破袭了他们的后勤补给线。
打蛇打七寸，李孝恭这一招，又准又狠，一下子击中了江淮军的软肋。五万大军，每天当然需要粮草供应，需要吃饭。断绝敌军的粮草补给，必能瓦解他们的斗志，使得他们内部军心浮动，上下骚然。
果然，粮道被绝，江淮军很快开始军中缺粮。如此一来，江淮敌军内部逐渐不安，骚动起来。这样下去，即使不被唐军消灭，也会被活活困死，饿死。为了扭转这种局面，只有主动出击，以攻为守。
因此，冯慧亮即刻点集兵马，夜袭唐军大营。当时，敌军前来夜袭，唐军不免有些震动。唯独身为主帅的李孝恭，泰然自若，依旧“安卧不动”。在李孝恭看来，这是冯慧亮黔驴技穷，无计可施的表现，一些小打小闹，能有什么收获。李孝恭如此冷静镇定，迅速稳定了军心。随即，唐军组织反击，迅速击退了冯慧亮的夜袭。
打退冯慧亮的夜袭，李孝恭准确地判断出来，敌军内部已经骚动不安，按捺不住了，此刻正是大举发起总攻的绝佳良机。说干就干，李孝恭立即召集诸将，商议如何反击敌军。会上，大部分唐军将领，观点一致，建议主帅李孝恭：
慧亮等拥强兵，据水陆之险，攻之不可猝拔，不如直指丹杨，掩其巢穴。丹杨既溃，慧亮等自降矣！ （《资治通鉴》）
唐军诸将的这个建议，非常类似当初李家父子进军关中时，李世民建议父亲李渊，绕过隋军固若金汤的河东郡，直取长安，令隋军措手不及，毕其功于一役。所以，唐军诸将再次提出相同的战法。
在这次军事会议上，唐军的许多重要将领，一致认为，博望山、青林山一带，屯驻数万敌军；并且，冯慧亮等敌将占据天然地利优势，易守难攻。唐军如果发起强攻，很难在短时间内消灭敌军。与其那样，倒不如兵行险招，绕过正面之敌，直取敌军老巢——丹杨。丹杨一破，冯慧亮自然不战而降。
绕开博望山、青林山正面敌军，直扑丹杨，的确是险中求胜的奇招。虽然存在一定风险，但是这个险，还是值得一冒的。所以，刚开始的时候，作为唐军主帅，李孝恭刚开始是赞同诸将的方案。
可是，这个时候，有一个人却站了出来，提出反对意见。谁呢？李靖。李靖不愧是一代兵圣，他以敏锐的军事眼光，看出了此举存在的巨大隐患。于是，李靖向主帅李孝恭进言，献上一策：
公祏精兵虽在此水陆二军，然后自将亦为不少，今博望诸栅尚不能拔，公祏保据石头，岂易取哉！进攻丹杨，旬月不下，慧亮等蹑吾后，腹背受敌，此危道也。慧亮、正通皆百战馀贼，其心非不欲战，正以公祏立计使之持重，欲以老我师耳。我今攻其城以挑之，一举可破也！ （《资治通鉴》）
李靖认为，江淮敌军主力，虽然全部集中在博望山、青林山一带，丹杨看似空虚，可是，辅公祏手上的兵力，想必也不少。如今，博望山尚且久攻不克，若调兵转攻丹杨，难道就可以轻易攻下吗？倘若攻打丹杨，旬月不能攻下；那么，冯慧亮必定尾随唐军身后，与辅公祏前后夹击，到时腹背受敌，必败无疑。
因此，李靖坚决反对攻打丹杨。当务之急，还是要解决博望山之敌。于是，李靖提出了自己的应敌之计。总结一下，那就是诱使敌军出城决战，将他们吸引到旷野地带，然后集中优势兵力，一举击灭敌人。
听了李靖的陈述，李孝恭深以为然，觉得很有道理，便采纳了李靖的建议，开始积极准备诱使敌军出城。既然要诱敌出城深入，就必须把戏做足，不能让敌人看出一丝一毫的破绽与猫腻。
很快，李孝恭开始动手了。首先，李孝恭从唐军中挑选出了一些老弱病残的将士，让他们佯装主力，前去攻打敌军营垒。至于李孝恭本人，则亲率一支精兵，埋伏于暗处，结阵以待。
按照李孝恭下达的军令，负责攻打敌军营垒的唐军羸兵，故意诈败，没打上几个回合，便引兵退走。看到唐军“败退”，驻守营垒的江淮敌军，想也不想，立即倾巢而出，出营大举追击。孰不知，李孝恭早就布好陷阱在等着他们。
江淮军出营追击，刚刚追出数里。突然，李孝恭亲率的那支唐军主力，犹如神兵天降，出现在江淮军面前。只见这支唐军，军容齐整，斗志昂扬。没等敌军反应过来，李孝恭指挥唐军，对江淮军发起猛烈攻击。
大战当中，唐军之中闪出一员战将，摘下头盔，朝着对面的江淮军一声大喝：“汝曹不识我邪？何敢来与我战！”这员唐军战将不是别人，正是杜伏威的另外一个养子兼心腹爱将——阚棱。
阚棱其人，在江淮军中与王雄诞齐名，是被杜伏威发掘出的一位新派将领。阚棱骁勇善战，武艺高强，擅使两刃长刀，刀长约一丈，名为“陌刀”。据说，每次作战，阚棱手挥陌刀，可以连斩数人，无人可挡。所以，阚棱是江淮军中鼎鼎有名的一员猛将，只有王雄诞能够与其比肩。
后来，阚棱由于战功卓著，杜伏威对其委以重任，拜为左将军，与王雄诞一起制约辅公祏。根据史记载，阚棱素日治军严明。纵使是亲朋好友触犯军法，阚棱也是严惩不贷，绝不姑息：
伏威据江淮，以战功显，署左将军。部兵皆群盗，横相侵牟，棱案罪杀之，虽亲故无脱者，至道不举遗。 （《新唐·阚棱传》）
再之后，杜伏威入朝，留下王雄诞“监视”辅公祏，自己则带着阚棱一起前往长安。到了长安之后，唐高祖李渊十分欣赏阚棱的勇猛，遂委任其为左领军将军、越州都督。当得知辅公祏起兵反唐的消息后，阚棱主动请缨，跟随唐军主力，一起南征。所以，此时此刻，阚棱出现在了唐军军中。
阚棱关键时刻出现，一声断喝，告诉对面的江淮军，你们难道连我都不认识了吗，谁敢过来与我一战！别说，阚棱的这声怒吼，立刻震住了迎面的敌军。要知道，江淮军中的大部分将士，以前都是阚棱的部曲，他们深知阚棱的厉害。此时见到阚棱本人，立刻丧失斗志，有的下跪拜伏，有的则四散奔逃。
因为阚棱的巨大威力，江淮敌军顿时失去了秩序，已经很难组织有效的反攻。机不可失，时不再来，这样难得的机会，唐军岂肯放过？此时，正是大破敌军，取得战役胜利的绝佳良机。
于是，李孝恭、李靖率领唐军主力，乘胜追击，追亡逐北，转战百余里。在唐军疾风骤雨的强大攻势下，博望山、青林山两处敌军营垒，被相继攻破。经此一战，江淮军大败，冯慧亮、陈正通等敌将，狼狈遁归，杀伤和溺死者，多达万余士卒。
应该说，唐军攻取博望山、青林山两处敌营，大破五万江淮军，基本歼灭了辅公祏手上唯一一支最有战斗力的生力军，江淮军元气大伤，剩下的只是被唐军打剩下的残兵败将。大破博望山、青林山敌军，辅公祏的覆亡，指日可待。
取得博望山、青林山两战大胜，击破五万江淮军主力后，唐军决定一鼓作气，直接灭掉辅公祏。因此，李靖亲率大军，进逼丹杨。面对唐军兵临城下，且领兵的又是李靖这样的厉害角色。故而，辅公祏心生畏惧。
当时的情况，江淮军主力虽然折损殆尽，在博望山、青林山两战中，全军覆没。不过，辅公祏此时依旧拥兵数万，尚有一战之力。只要固守城池，保住丹杨应该不成问题。然而，这个时候的辅公祏，早已被吓破了胆，无心恋战。最终，辅公祏率领部众，弃城东走，打算与左游仙会合于会稽。
这个时候，唐军完全掌握了战场的主动权，当然不会轻易放走辅公祏。见到辅公祏弃城而走，李世勣整顿兵马，在后紧追不舍。身后唐军拼命追击，辅公祏只能拼命逃跑，企图摆脱唐军追兵。
关键问题是，辅公祏此时大势已去，他的部下觉得跟着他，无疑是死路一条，纷纷离他而去。所以，辅公祏一路逃窜，手下的部众则是不断地离队、走散。当行至句容时，辅公祏身边仅剩区区五百人马，大部分都趁机跑掉了。由此可见，辅公祏已是众叛亲离，惶惶如丧家之犬，朝不保夕。
一天夜里，辅公祏率部宿营于常州。当夜，辅公祏贴身卫队将领吴骚等人，私下密谋，打算抓住辅公祏，将其献给李唐，也算是大功一件。万万没有想到，这些将领的密谋，被辅公祏给听到了。辅公祏听到后，非常害怕，撒腿就跑，连老婆孩子都没来得及带上一块逃跑，只带了心腹数十人，斩关而走。