1937年12月，日军在攻占国府南京后，气焰极为嚣张，其后续作战计划为打通津浦线，将平津到长江以北地区连成一片，而这一中间地带，正是李宗仁将军所负责的第五战区。
面对日军的南北夹击，李宗仁手里可以指挥的部队却少得可怜，其中又大都是一些杂牌部队，“三四等的货色”，如庞炳勋的第三军团，其出身为原西北军，名义上为一个“军团”，实质上只有五个步兵团而已，作战能力十分有限；原属东北军的于学忠第五十一军及缪澂流第五十七军，装备尚可，但算不上什么劲旅；韩德勤的第八十九军，原是江苏保安队改编，非正规军出身，战斗力薄弱；韩复榘手下的第十二军（军长孙桐萱）与第五十五军（军长曹福林），虽说训练及装备还可以，但蒋介石都指挥不动他，何况是李宗仁呢？
唯独可靠的，是广西调来的第三十一军（军长刘士毅，下辖三个师），因为这个军是李宗仁在家乡亲自征调成立的，各级干部多为北伐期间的老班底，虽然新招募的士兵训练不足，也无作战经验，但指挥起来终归要强于其他部队。
李宗仁在担任第五战区司令长官后，指挥部便设在了徐州。从军事上来说，徐州属四战之区，历来就是兵家必争之地，在之前的短短十年间，徐州已经经历过多次重大战争，如1925年奉军南下、1927年北伐军北上及1930年的中原大战（包括后来的淮海战役），徐州都是各方力争的重点，因为控制徐州后，北上可以直逼济南、平津，南下可以直达蚌埠、南京，其战略意义毋庸多言。
日军在攻下南京后，随即以八师之众分别从镇江、芜湖、南京三路北上，光进攻津浦路正面的就有三个师。对此，李宗仁令第三十一军在明光一带进行阻击，日军在遭到顽强抵抗后大为惊异，只好从南京调来野炮、坦克进行支援。但日本援军到后，第三十一军却突然让开津浦路正面，等日军进占蚌埠之后，于学忠的第五十一军前来防守淮河沿岸，而之前撤退的第三十一军转从侧后出击，将津浦路截成数段，从淞沪战场上撤下来的廖磊第二十一集团军（同为桂系军队）也增援到合肥，日军首尾不能相顾，双方隔着淮河对峙，陷入了胶着状态。
但在津浦路的北段，情况就不容乐观了。山东军队与日军甫一交战，便损失了三个团，韩复榘在自知不敌的情况下，为保存实力而下令将手下两个军撤入鲁西北，致使津浦路北面门户洞开，日军在攻下济南后迅速南下泰安、济宁、兖州，离第五战区司令部所在地徐州已经不足200公里。
韩复榘也为此付出了沉重的代价。据李宗仁回忆，蒋介石随后召集军事会议，散会后，正当众人纷纷离去之时，刘峙突然起立大呼道：“韩总司令请慢点走，委员长有话要同你讲！”韩复榘闻言留下，离去的众人遂议论纷纷，齐说：“韩复榘糟了，韩复榘糟了！”据李宗仁所说，散会的时候他走在最后，“只见会场内留有委员长的便衣卫士四五人。刘峙便指着卫士对韩复榘说‘韩总司令，你可以跟他们去’，韩氏脸上顿时发青，低着头，蹒跚地随卫士去了”。韩复榘最后未经军法审判便告枪决，死得很不光彩，但也令军中为之一震，起到了杀一儆百的作用。
杀了韩复榘，战争仍在继续。当时沿津浦路正面南下攻打徐州的是日军矶谷廉介的第十师团，另外还有从青岛、潍坊方向西进的第五师团（由当年策划“九一八事变”的板垣征四郎率领）。矶谷廉介、板垣征四郎与土肥原贤二当时被称为日本的三大“中国通”，这三人，与后来的“中国派遣军”总司令冈村宁次以及荒木贞夫、本庄繁、松井石根、阿部信行等人，都是日本士官学校第16期毕业（与中国留日士官生第三期蔡锷、蒋百里、许崇智、曲同丰等人共同上课、同期毕业）。
矶谷师团与板垣师团都是日军中最精锐的机械化部队，其兵力和火力也远远超过了中国军队。从编制上来看，日本的师团、旅团、联队、大队、中队、小队可分别对应中国的师、旅、团、营、连、排，但当时中国一个基准师的兵力大约为一万人左右，而日军一个常设师团的兵力超过两万人；从火力上看，日军在轻重机枪、榴野山炮等武器配置方面都远远超过了中国军队，而日军拥有的飞机坦克及机械化程度也都是中国军队所不可比拟的，因此，就战斗力而言，一个日本甲种师团可能比中国军队一个王牌军还要强大。
日军的作战计划是，矶谷师团由北向南，板垣师团由东向西，与北上的日军彼此呼应，最后合围徐州，一举消灭该战区的中国军队。1938年3月12日，坂垣师团猛攻徐州东北方向两百里的临沂，当时防守的部队是只有五个团兵力的庞炳勋军团。庞炳勋从戎多年，当时已经50多岁，他在之前的内战中曾腿部受伤，脚有点拐，人送绰号“庞拐子”，但其属下的子弟兵却极为团结，因为庞炳勋本人一向廉洁爱兵，能与士卒共甘苦，因此庞炳勋在之前的战争中虽然数经败阵，但队伍仍旧得以不散。
论年纪和资历，李宗仁恐怕还比不过庞炳勋，但李宗仁善于察言观色，知人善用，他对这位老前辈也是优礼相待，并推心置腹地说，我们这些人，打了二十多年的内战，现在仔细回想那种生活，实在是太没有意义了。黑白不明，是非不分，败不足耻，胜不足武，所幸现在有一个抗日报国的机会，可以为国家、为民族而战死沙场，能够真正地死得其所，如此，才不愧做一军人，以终其生。
庞炳勋一向以保存实力而闻名，他听了当即表示为了抗日，“绝不再保存实力，一定同敌人拼到底”。李宗仁问起他们有什么困难时，庞炳勋叹了口气，说中央要将他们的特务团裁去，五个团归并为四个团，但他们的部队兵额都是足额的，不能归并就只有遣散，那弟兄们怎么办呢？可要是不归并的话，中央就要停发整个部队的粮饷，这可如何是好？李宗仁听后当即表示要为他们解决此事，最后庞炳勋军团得以保留原建制；与此同时，李宗仁又令兵站总监尽量补充庞炳勋军团武器弹药，令全军上下士卒欢腾，隐然已成一支劲旅。
日军进攻临沂后，庞炳勋果然没有保存实力而是与敌力拼，号称精锐的板垣师团竟然在数日间不能得逞，一时中外哄传，赢得了各方的交口称赞。板垣征四郎被挫于一支名不见经传的“杂牌部队”，脸上很挂不住，随即加强攻势，庞炳勋军团这时伤亡过大，有点吃不住了。
好在这时一支新部队开到了第五战区，这就是张自忠的第五十九军。张自忠也是西北军出身，但他不太愿意去援救庞炳勋，因为他俩在之前的内战中有过私怨，张自忠曾遭遇庞军的袭击，险些丢了性命。在李宗仁的劝说下，张自忠最后服从了命令，迅即开往临沂前线。
说到这里，还有一段小插曲。冯玉祥在中原大战失败下野后，西北军四分五裂，韩复榘、石友三等人在山东等地独立门户，另一些较为忠诚的部队如孙连仲、张自忠等部则在宋哲元的整理下，分驻在华北、西北等地。在日军策划“华北特殊化”时期，张自忠被宋哲元任命为北平市长，很长一段时间为人所误解，其忍辱负重被民众目为“汉奸”，特别是“七七事变”北平失陷后，张自忠被指责为“擅离职守、不事抵抗”，其本人来京请罪，而有舆论竟要求对其进行军法会审。
李宗仁在得知情况后，他亲自把张自忠请来，劝他不要灰心，将来要将功赎罪，并表示愿意向蒋介石进言，让他重新回去仍带他的五十九军（当时有人想瓜分张自忠的部队）。张自忠听后极为感动，表示中央能够宽恕他的罪过的话，他必将戴罪图功。在李宗仁的努力下，蒋介石同意将张自忠放回去。
张自忠在返回之前，特意到李宗仁处致谢，他至为激动地说：“要不是李长官一言九鼎，我张某纵不被枪毙，也当长陷缧绁之中，为民族罪人。今蒙长官成全，恩同再造，我张某有生之日，当以热血生命以报国家，以报知遇。”（后来张自忠为国捐躯，恐怕也是出于自洗清白的“孤愤”之举。）
正因为有这段机缘，张自忠在李宗仁“捐弃前嫌”的劝导下，二话没说就以急行军的速度开赴临沂前线。张自忠的部队装备较好，士气也很旺盛，每一士兵还按西北军的老传统配有一把大刀。在接敌之后，张自忠的先头部队出其不意地突入敌阵，并使用大刀、手榴弹与之短兵相接，直杀得日军落花流水，惊呼：“冯玉祥的大刀队来了！”
由此，张自忠不但解救了庞炳勋军团，而且打了一个不小的胜仗，迫使日军撤去临沂之围，前往台儿庄会师的计划也就成了泡影。此战之后，张自忠与庞炳勋重归于好并成为莫逆之交，也是抗战史上的一段佳话。
在临沂大战的同时，日军矶谷师团也从兖州南下，在攻克邹县后直扑滕县，此地离徐州只有百里之遥。这时，川军邓锡侯部沿陇海路赶到徐州增援，李宗仁急调其第四十一军（军长孙震）的第一二二师（师长王铭章）及第一二四师（师长税梯青）前去堵截，因日军已占领邹县，川军二师便分别在滕县城内外布防，王铭章率一二二师驻防滕县城内，一二四师则在城外策应。
矶谷师团是日军中高度机械化的重炮部队，其攻打滕县的火炮力量更为强大，计有一个野炮兵联队、一个野战重炮兵联队、一个榴弹炮大队及两个山炮中队，另有一个机关枪大队及两个轻型装甲车中队，而川军一二二师和一二四师的兵力不足7000人。在日军的重炮轰击与坦克冲锋下，王铭章率全师官兵与强敌血战三昼夜，王师长身中七弹，属下2000多人壮烈殉国。3月17日，滕县失守。滕县之战，也是台儿庄战役中最壮烈的一幕。
七十二年后，滕县之战中的唯一在世者、89岁的老兵叶光文，凝望着成都“川军阵亡将士纪念碑”上的雕像说，“当年我们出川抗日，就是这个样子。我们就这样踩着战友的尸体，抱着必死的决心向前冲锋……”纪念碑上矗立着一尊无名战士的雕塑，他脚踏一双破烂的草鞋，身上穿着一身破旧的军衣，肩上背着一杆老旧的步枪，戴着斗笠，插着大刀。这就是当年川军的形象。
从民国建立以来，四川就不曾安静过，各路军阀你争我夺，战火不断，四川几乎就是中国连绵内战的一个缩影。这一次，川军激于民族大义，奋然请缨出战，但川军因为地处偏僻，加上多年内战的缘故，其装备极其窳劣，士兵使用的步枪老旧不堪，有些膛线都已磨平，有的干脆就是土作坊制作的。
更郁闷的是，这些川军因为仓促出师，远道跋涉的途中又无粮草补给，因而难免发生一些强买强卖的纠纷。在开赴太原战场后，川军尚未上阵便在溃败的大军裹挟之下狼狈后退，兵荒马乱之中更无物资供应，于是川军遇到晋军的军械库便自行补给，惹得主人阎锡山大为震怒，电告统帅部称“川军是一群‘抗日不足、扰民有余’的‘土匪军’”，蒋介石接电后将他们调到第一战区，谁知司令长官程潜一口回绝：“阎老西不要的东西，你们要送给我？我不要这种烂部队！”
此时正值南京失陷，蒋介石正在气头上，他大怒道：“没人要就把他们调回去，让他们回四川称王称霸去吧！”好在这时副总参谋长白崇禧在一边为之缓颊：“他们都不要，不如问问第五战区李长官，看他们那边怎么样？”
李宗仁接到白崇禧的电话后，说：“好得很，我们这里正缺人，你把他们调到徐州来！”白崇禧说“这些部队作战力可能要差一点”，李宗仁说：“诸葛亮扎草人为疑兵，他们总比草人好吧？”
于是川军便被调到了第五战区，而对于其中的原委，川军将领也大多知晓，但凡有点爱国心和自尊心的，都无不为此感到羞愧。是啊，天下之大，竟无处容身；有心杀敌，岂料报国无门！可这又能怪谁呢？！
李宗仁在见到邓锡侯总司令及孙震军长后，安慰他们说：“咱们在中国内战中打了二十余年，回想起来太无意义。如今总算有一个机会让我们各省军人停止内战，大家共同杀敌报国。希望大家都把以往忘却，从今之后大家一致和敌人拼命。”由于川军的装备实在太差，李宗仁又立刻从第五战区的库存中拨给一些新枪、迫击炮和大量弹药，川军上下，无不感奋，在滕县之战中，川军将士奋勇杀敌，死而无憾，书写了川军抗战史上最光彩、最光荣的一页。
滕县的牺牲决不是无谓的，因为它为其他部队增援台儿庄赢得了时间和空间。在北上日军被困淮河、板垣师团受阻临沂后，矶谷师团仍旧十分嚣张，其在攻占滕县后继续南下，试图与板垣师团会师台儿庄，最后总攻徐州，大有“先入关者为王”的气焰。
但是，正因为这种骄横的心态，为日军的失败埋下了伏笔，滕县失守后，第五战区也有两支劲旅被调到，一是汤恩伯的第二十军团，该军团系国民党军队的精锐之师，下辖两个军（关麟征第五十二军和王仲廉第八十一军），下属五个师（郑洞国第二师、张耀明第二十五师、陈大庆第四师、张雪中第八十九师、张轸第一一○师），这个军团的装备很好，步兵均配备捷克式步枪，重机枪、大炮等重武器也很齐全，还有一德制重炮营，实力不容小觑。特别值得一提的是，汤恩伯系黄埔军校毕业后保送日本士官学校并于次年（1926年）毕业。
另一支劲旅是孙连仲的第二集团军，这支部队原系冯玉祥西北军的队伍，虽然实力比不过汤恩伯的第二十军团，但至少也可以被列入“第二等”。第二集团军名义上有两军（田镇南第三十军、冯安邦第四十二军），但因为之前刚参加山西会战，当时可参战的部队实际上只有三师（黄樵松第二十七师、张金照第三十师、池峰城第三十一师）。
正因为日军的骄横，李宗仁决心要打一个“不大不小的胜仗”，在他的计划中，善于防守的孙连仲部被派往台儿庄，将日军主力诱至该处并予以打击后，再乘日军疲惫之时，由汤恩伯所部及其他外围军队出击包围，实施歼灭。后来战局的发展，虽如他的所料，但其中的艰难与牺牲，取胜的时机间不容发，实在来之不易。
台儿庄是徐州东北方向六十里的战略要地，其北连津浦路，南接陇海路，西临大运河，正好位于津浦路台枣（庄）支线和台潍（坊）公路的交叉点上，当矶谷师团攻下滕县后，计划与绕道台潍公路的板垣师团在此会师，最后合攻徐州。因此，台儿庄也成为保卫徐州的最后一个门户。
在得知中国军队布防台儿庄后，矶谷师团沿津浦路突入枣庄，随后又沿着临枣支线占领峄县，据当地游击队员的报告：“矶谷师团约三四万人，配有山炮、野炮、重炮不下百余门，上有飞机掩护，下有坦克、装甲车七八十辆开路，并有骑兵部队担任两翼搜索，杀气腾腾，直奔台儿庄方向前进。”
此时，孙连仲所部的池峰城第三十一师已于3月21日渡过运河，布防台儿庄，其他部队则布置外围，汤恩伯的第二十军团让开津浦路正面，撤入临近的姑婆山区隐蔽，待机而动。3月23日，矶谷师团的濑谷支队已开至台儿庄外，以超过一个旅团的兵力展开进攻，炮声几乎传到了六十里外的徐州（据李宗仁所叙）。
日军自以为有强大的炮火支援，可以摧毁前进道路上的任何阻碍，但在台儿庄却碰到了一块坚硬的石壁，因为台儿庄一带盛产石块，房屋大都是叠石而造，因而每一栋房屋都是一个坚固的堡垒，尽管日军以炮火强轰、以坦克开道，但进展远不如他们想象的那样顺利。池峰城所部官兵则发挥了大无畏的精神，他们没有强大的炮火掩护、没有坦克车，更没有空中支援，只能身绑手榴弹群，用自己的生命去摧毁敌人的装甲战车，前赴后继，视死如归，以血肉之躯同日军展开了殊死的搏斗。在小小的台儿庄寨内，一方依恃强大的炮火和精良的装备，一方凭借顽强的精神和坚固的壁垒，并辅以夜袭、反冲锋等激烈战法，双方在此展开了反复的拉锯战，战况极为惨烈。
日军矶谷师团步兵第十联队的《战斗详报》中说，“敌自昨日以来之战斗精神，其决死勇战气慨，无愧于蒋介石的极大信任，凭借散兵壕，全部守兵顽强抵抗直至最后。此敌于如此狭窄的散兵壕中，重叠相枕，力战而死之状，虽为敌人，睹其壮烈亦为之感叹。曾使翻译劝其投降，应者绝无。尸山血河，非特日军所独有。”这里说的，是黄樵松第二十七师于4月2日在台儿庄外围的战斗。
当时任第三十师八十八旅一七六团三营营长的德厚老人后来提起这场惨烈的战斗时说，“敢死队中，我们一个营的八个人，五个人被炸死了。人头落到我怀里，肠子挂到帽子上。嘴里、脸上、手上都是鲜血。就是这样，我们把人头一放，抱着机枪再跟敌人打。日本人并不是多么顽强，只要我们不怕敌人，那敌人就怕我们。”
在经过数昼夜的血战后，孙连仲的第二集团军伤亡过大，城内的池峰城所部已经伤亡殆尽，台儿庄也已被日军攻占了三分之二，形势十分危急。这时，第三十师的一个团全部投入城内，第三十军军长田镇南、第四十二军军长冯安邦也分赴左右两翼督战。而此时，从临沂方向增援的板垣师团坂本支队在多重阻击下也已经开到台儿庄，并决心一举拿下。
在最紧要的关头，池峰城请示孙连仲，能否转移阵地，暂时退到运河南岸，孙连仲接电后，向李宗仁直接通电话：“报告长官，第二集团军已伤亡十分之七，敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德！”
我军伤亡大，日军的消耗也不小，李宗仁此时已经向汤恩伯所部下达攻击命令，并预计次日中午即可达到台儿庄北部，因而严厉地对孙连仲说：“敌我在台儿庄已血战一周，胜负之数决定于最后五分钟。援军明日中午可到，我本人也将于明晨亲来台儿庄督战！你务必守至明天拂晓，这是我的命令，如违抗命令，当军法从事！”
孙连仲听后，只好说：“好吧，长官，我绝对服从命令，整个集团军打完为止！”这时，据守台儿庄最后一角的池峰城师长再次来电请求撤退，孙连仲咆哮道：“士兵打完了，你就自己上前填进去！你填过了，老子就来填！有谁敢退过运河者，杀无赦！”非但要死守，孙连仲还按照李宗仁的指示，要求池峰城组织敢死队利用夜晚对日军发动夜袭。日军万万没有想到，已接近绝境的中国守军竟然还能发起进攻，而他们自己也已经精疲力竭，因而台儿庄反在当夜被夺回四分之三。
最终的胜利，往往取决于最后五分钟的坚持。当晚午夜时分，李宗仁亲率司令部前往台儿庄，指挥最后的总攻。黎明后，台儿庄北部炮声渐浓，汤恩伯兵团已经赶到并对疲累的日军展开包围。在此情况下，日军撤退不及，陷入了重重包围，聚歼的时机已到！
4月6日，在李宗仁的命令下，台儿庄及外围的守军全线出击，向敌人发起反攻。光荣的时刻到来了，战场上杀声震天，而日军此时已成强弩之末，弹药汽油也使用殆尽，最后不得不依靠残存的装甲车强行突围，在遭到极其严重的打击后，残部退到了北部峄县，苟延残喘。至4月7日凌晨，台儿庄会战已取得决定性的胜利。
从外围临沂保卫战、滕县之战算起，台儿庄战役总共打了将近一个月。在这次战役中，中国军队投入兵力二十多个师约12万人，基本摧毁了矶谷、板垣两个精锐师团的主力，据中国方面的战报，此役歼灭日军一万余人，俘虏700余人，缴获步枪一万多支，轻重机枪930挺，步兵炮77门，战车40辆，重炮50门。这是中国抗战以来的最大一次胜仗，也是甲午战争后中日交战的第一次大胜仗。日军挟南京之战的余威，骄横异常，没想到在台儿庄却被大多数为杂牌军的中国军队打了个人仰马翻（据1938年6月日军华北方面军参谋部编制的资料，第五师团与第十师团的伤亡数为：第五师团战死1281人，负伤5478人；第十师团战死1088人，负伤4137人，两师团的总伤亡数在1.2万左右，其损失不可谓不大）。
“二十七师血战功，奋勇歼敌运河东。袭击敌侧背，攻占前后棚。微山湖畔麦青青，台儿庄上血腥腥。击溃坂垣柳家湖，击毙大坂燕子景。运河百折东南流，台儿庄十日建奇功。粉碎敌迷梦，洗尽民族羞。完成先烈未尽志，誓将大捷报国仇。恢复旧神州，豪气壮千秋！”一寸河山一寸血，胜利之余，这首豪迈的《台儿庄战役胜利歌》更是令人荡气回肠。
《老子》第六十九章中说：“祸莫大于轻敌，轻敌几丧吾宝，故抗兵相加，哀者胜矣。”“哀”者，“沉痛”也，“悲愤”也，所谓“哀者必相惜，而不趋利避害，故必胜”，因而受压而悲愤的一方，定能克敌制胜。南京之役，日军屠杀我数十万军民，此等血海深仇，凡我中华男儿，无不义愤填膺，誓除强敌，即便是那些常年内战的队伍，也都激于大义，奋勇出击，想和日军一拼，正是凭借着这种精神，杂牌军才在战场中成为了劲旅。
国破山河在，城春草木深，4月初的台儿庄依旧春光明媚，但硝烟散去的战场上，沿途村庄人烟一空，越是接近台儿庄，看到的景象就越为惨烈。据目击者的描述：“各村房屋几乎全被摧毁，有的余烬尚未熄灭，军民尸体遍地可见。山野炮、迫击炮、重轻机枪及炮弹箱、弹药箱、手榴弹箱所在皆是。这时正是麦黄时期，顺着麦垄望去，只要有一个尸体，就有一枝步枪一挂子弹，有的麦田被机枪扫射后只剩半尺来高的麦秆儿。台儿庄车站房屋皆毁，断壁上弹痕累累。进入台儿庄北门，一片瓦砾，这是敌我往返争夺，巷战激烈的地点。街道上手榴弹碎片有三四寸厚。敌我两军逐屋相争，每座墙上都有两军对峙的射击孔。有的射击孔伸出一支步枪筒，用手往外拉枪，竟然呼的一声射出一粒子弹，原来死者的食指仍扣着扳机，往外拉枪用劲，所以击发了。几乎每屋都有阵亡士兵……”
他们并没有白死，历史永远记下了这些英勇的爱国者和真正的战士。