而霍山因为距离更近、道路稍宽，必将成为日军机械化部队撤退的首选，更突显其地理位置之重要。
因为霍山地处大别山腹地，其复杂的地形和陡峭的山岭，让日军放松了警惕，只在此处放置了日军一个大队和皇协军一个大队的兵力，而且在六安遭到攻击之后，日军还从这点兵力中抽调了三分之二驰援六安，这也给了新四军第二支队可乘之机。
新四军曾经长期在大别山活动，对这一带的地形自然熟悉无比，第二支队利用十多天的时间，横穿了大别山，走的根本是日军想都不带想的道路。一千人马直扑霍山，直接从霍山的后方杀出，狠狠地打了日军一个措手不及。另一千人马在半路设伏，等走到半路惊闻霍山遭到攻击，又急急忙忙往回走的日军进入伏击地，一千将士机枪、掷弹、火箭筒如雨点般地横扫而出，第一轮就歼灭了日军一大半，随即一个冲锋就将他们全部淹没，独特的山沟地形，让日伪军连逃脱的机会都没有。
新四军虽然只有两千来人，但都是部队里挑出来的精干将士，携带的武器也精良，虽然没有炮火，但他们得到过蒋浩然的援助，轻重机枪、掷弹筒甚至是火箭筒，都有不老少，再加上兵力几乎是和日军差不多，但整体素养却高出一大截，战斗从打响到结束基本只用了不到两个小时就结束了，只有霍山少量的日军、伪军见机较早的，向西逃出了战场，大部分被新四军全歼或俘虏。
战斗一结束，粟总当即命令部队在黑石渡构筑两道防线，以阻挡武汉日军的撤退道路。
黑石渡地处霍山以西，是武汉日军进入霍山的必经之路，其地形是中间低洼、道路两边都是悬崖峭壁，且四面环山的狭长地带。进出两头都是狭小的隘口，东头叫卡坊岭，西头叫马家岭，都是“一夫当关，万夫莫开”的险要隘口。
别看粟总就只有两千人马，但这种地形，日军能投入的兵力最多也就一个大队，只要武器弹药充足，日军就算是千军万马都是白搭，这也是蒋浩然要奇袭霍山的主要原因。
霍山落到中国军队的手里，日军能选择的撤退路线只有金寨，武汉第十一军几十万大军只能寄希望于穿过金寨重新夺回六安，打通撤退路线，毕竟六安只有到了，蒋浩然接到电文的时候，脸上的表情顿时就凝固了，随即爆发出一声震耳欲聋的怒骂声：“我擦他娘的，狗屁，这简直就是狗屁命令！”
一份电文很快在众将领手里传阅，大家很快都知道发生了什么，按照计划，此时第四十集团军就该抽调所有能抽调的部队，尽快过江，从黄梅直插罗田、英山，日军如果见机快，第四十集团军就是追击部队，日军如果还存有固守待援重新打回武昌的梦想，第四十集团军就果断将他们切断，将日军分割成东西两个战场，然后四面八方的部队一拥而上，结束战役也就是十天之内的事情。