国军为“确保淮南要地，阻止日军北进”，以徐源泉的第26集团军第10军第41师、第48师奉命由河南商城、湖北英山向合肥集结。
1938年5月，除奉命保卫合肥的第87军199师尚未赶到以外，在合肥的部署兵力是：48师第142旅布防于合肥城、店埠一线，48师144旅布防于梁园、八斗岭一带；41师布防于合肥东北园疃、靠山集、曹家店一带。合肥警备司令部司令宋世科所属保安第5、第7两团和巢湖水警总队炮兵团1营于5月5日也奉命归徐源泉部指挥。第26集团军指挥部设于合肥城三育女学(今南门小学)内。
日军第6师团以步兵第13联队、骑兵第6联队和独立山炮第2联队等，在芜湖组成坂井支队。坂井支队从长江南岸的采石矶强行渡江，攻占和县，又重新攻占巢县，随后又攻占了夏阁镇，向西直指合肥城。
坂井支队攻陷巢县后，其先头部队以步兵一个联队为基干，配合特种部队，沿淮南铁路及巢湖北岸，向合肥进犯。以成松古贺所部的鬼子步兵约500人，由巢湖分乘橡皮舟和民船偷渡至炯炀河；另一部鬼子步兵约1000人，骑兵五六十人沿淮南铁路向合肥方向推进。为阻击日军，48师142旅284团2个营由店埠开赴桥头集设防。
日军由龙泉山至白马山一线向桥头集发起攻击。日军先以炮火猛轰284团阵地，之后开展肉搏战。284团3营营长蒋子祥、排长邱少华、丁家斌在激战中阵亡，排长吴济民、刘兆民等重伤，其余官兵伤亡、失踪甚多。
午后3时许，布置在东山口的284团第1营赶到支援，因地形不利，伤亡惨重，终不能阻敌西犯。当日夜，日军以一部分兵力牵制284团，其主力与炯炀河之成松古贺部合为一股，继续向合肥推进。
此时，部署于园疃、靠山集、曹家店的41师又奉命北调进攻凤阳、蚌埠；而由湖北黄陵站驰援合肥的87军199师（师长罗树甲）尚未赶到，造成合肥防御体系出现漏洞。徐源泉即调整部署，令48师144旅之288团由梁园、八斗地区赶回合肥布防；令144旅之287团赶往撮镇待机，准备侧击日军；令在夏阁镇附近的283团趁夜摆脱日军，撤至店埠附近作为预备队。
次日，又有六、七百号鬼子化装成红枪会，在巢湖北岸登陆，在占领六家畈、长临河一带后，以一部兵力牵制驻撮镇之287团，其主力迂回至撮镇以西地区，待机进攻合肥。为确保合肥，48师各部于当日夜晚逐步摆脱各方之敌，星夜赶回合肥城布防。
合肥城防工事曾由第21集团军耗资约20万元经营半年之久，颇为牢靠，且有完整坚固的城墙可依托。第26集团军防卫合肥城的部署为：142旅283团和284团占领城东及东北阵地，143旅287团占领城东南阵地，288团为师预备队。
第二天，由长临河、六家畈西进之日军逼近合肥城东。五里庙王大郢东南方黄家村各有日军五、六百人。287团先集中炮火猛射，继以步兵冲锋，日军被击退。
奉命驰赴合肥的199师573旅(旅长方既平)于午前到达合肥，在南门外大溪岗一带布防。为防止敌迂回城西南方向切断安合公路，573旅以1个团兵力占领287团右侧王大郢以西阵地。
下午，合巢公路两侧有鬼子1000余人，向284团猛攻，同时以一部向西运动。晚7时30分，敌以猛烈炮火向287团防守之朱家岗、王大郢阵地集中射击、反复冲锋，企图一举突破。双方激战、肉搏5次，鬼子未能突破阵地。
第三天清晨，199师574旅(旅长刘爰山)在西门外七里岗一带布防。下午近5时，日军向守军阵地炮击至7时左右，共发弹千余发。朱家岗、王大郢等阵地被摧毁，287团团长赵我华阵亡，营以下官兵伤亡甚众。千余鬼子 在炮火掩护下，向48师与199师结合部朱家岗、葛小店猛扑，突破了守军第一道防线。为扭转战局，144旅旅长韩浚在师预备队288团守住第二道防线后，率该旅其余部队向敌反冲击，经奋力厮杀，终将第一道防线失守阵地夺回。
嗣后，日军又集中炮火并6架飞机，掩护其后续部队继续进攻。283团、284团各抽一部兵力由阵地左翼、574旅由阵地右翼分别向敌反击，企图挫败敌攻势。但因敌机轰炸，步骑猛冲，守城部队伤亡惨重，早上8时许丢弃阵地向西撤退。日军衔尾紧追。守军撤退时组织不力，溃不成军，一部分日军乘机由德胜门冲入城内。由于守军主力全部置于城外阵地，城内兵力空虚，城内又有汉奸内应，宋世科的保安团亦有一部叛变，城内失去控制。9时左右，城内26集团军司令徐源泉指挥部被日军炸毁。徐源泉命令48师师长徐继武、144旅旅长韩浚转至城西南地区督战，自退北门力图收容散兵反攻，但因城外各部腹背受敌，军心动摇，指挥联络失灵，难以组织有力行动。午后1时许，守军向城西、城北方向全线溃退，合肥失陷。
在这场战斗中，国军26集团军确实尽心尽力了，奈何日军无论是火力还是战斗素质，都完全碾压守军。守卫合肥的国军遭受重大伤亡，仅后来加入战斗的199师就损失1301人，而142旅284团几乎全军覆没，成功撤走的人寥寥无几。
合肥失陷，手无寸铁的百姓就成为了待宰羔羊，鬼子占领合肥后，就制造了震惊中外的“合肥大屠杀”。日军入城后，开始挨家挨户搜索，以杀人为乐，逢人便杀，并且将俘获的国军徐源泉部100人全部杀害。
知道鬼子来了的合肥人民非常害怕，他们一般向西北两个方向逃亡，但是北门有一座石桥，名为拱辰桥，人一多就被挤的水泄不通。丧心病狂的日军看到这种情况，开始对桥上的百姓进行机枪扫射，直到他们全都死去，再也没人敢过桥为止。具体伤亡数字虽然不详，但据估计至少也要四五百人，桥下的河水甚至被尸体断流。根据《东史郎日记》记载，日军此时逢人便杀，见女便奸。在这个过程中，合肥城中百姓上万人，有超过半数被日寇屠杀。随后，日军将合肥城墙周边的房屋焚烧殆尽，因为他们害怕抗日自卫武装的袭击。
为了对合肥进行掠夺，日军还成立了所谓的“庐州县公署”、“庐州县维持会”，这些组织都是一些流氓组织，他们大量抢劫银行和商铺、搜刮大户人家的古董和金银财宝，然后由日本商人带回日本。同时，日军还对合肥周边的乡村进行扫荡，大肆搜捕抗日人士，在这个过程中又直接杀害了5000多人，掠夺财产高达5000万银元。
放眼整个人类历史和战争史，日军的残酷，没心没肺、麻木不仁都是独一份的。他们并不是为达目的而杀人，是为杀人而杀人、为取乐而杀人，甚至有许多人类无法理解的恶趣味。所以，一定要极度警惕小日子的军国主义复辟。这些上了“世界黑名单”的家伙，全世界都必须提防他们。