曾国藩在编练湘军时，困难重重，既没名分，也没权力，更不受当地官僚、士绅待见。要知道，兴办湘军之初，曾国藩只是一名在籍侍郎，也就是赋闲在家的官员，无名无份。此外，曾国藩并没有全权招募“兵勇”，只是“帮办团练”，也就是说他是协助湖南地方官员办理“团练”，自己当副手，而不是大老板。正因为如此，曾国藩兴办湘军之初并不顺利，在湖南省会长沙，因与地方绿营兵军官有矛盾，差点就被提督鲍起豹给杀了。为此，曾国藩只好逃离省城，前往衡阳编练湘军，为的就是避免与长沙官员出现矛盾。

在衡阳，曾国藩顺利编成湘军水陆两师，共17000人，这是一支区别于八旗和绿营的新式武装力量，它只听从曾国藩一人指挥，朝廷无法调动。不过，曾国藩却初战惨遭失利，在靖港被曾天养、石祥祯等猛将吊打，湘军水陆两军阵亡一千余人，曾国藩被逼投水自尽，幸好被部下救起，否则湘军群龙无首，立刻作鸟兽散。战败回到长沙时，当地官僚、士绅、富商对其冷嘲热讽，认为曾国藩编练湘军毫无用处，还浪费不少饷银，不如趁早解散。对此，曾国藩失望极了，辛辛苦苦编练出来的湘军，居然如此不堪一击，还谈什么恢复金陵，剿灭太平天国呢。

幸运的是，靖港虽然惨败，但湘军陆师统帅在湘潭大获全胜，2万余太平军精锐力量被歼灭，西征军主帅林绍璋仅带4名骑兵逃往岳州。湘潭大捷，一扫湘军战败之晦气，湖南官僚、士绅对湘军也是刮目相看，认为湘军可以一战。从此，湘军得以崛起，并成为太平天国劲敌。

1854年1月，胡以晃、曾天养在庐州（合肥市）击毙安徽巡抚江忠源，而后再次分兵作战，曾天养率数千人进入湖北，而后攻湖南。与此同时，林绍璋出任西征军前线统帅，准备指挥各路兵马夺取长沙，而后席卷两湖。为此，西征军合兵一处后又分兵，曾天养、石祥祯等骁将率6000余兵马守卫靖港，防止湘军反攻岳州；林绍璋则率主力2万余绕道宁乡奔袭湘潭，威胁长沙南面。主力在湘潭站稳脚跟后，西征军南北夹击长沙，一举拿下湖南省会，铲除湘军兴办之土壤。

4月22日，林绍璋主力2万余在宁乡击败湘军3000余人，阵杀营官一人。当塔齐布率3000余将士赶到后，林绍章已经抵达湘潭，开始扎营。为此，塔齐布星夜兼程，火速赶往湘潭，阻止林绍璋进攻长沙。此时，林绍璋犯下一个错误，即是没能趁着塔齐布尚未站稳脚跟之时0发动攻击，夺取战场主动权，而是继续扎营，修建要塞，做防守计，实乃大错。

塔齐布抵达湘潭后不久，江忠淑（江忠源弟弟）率4000千兵勇赶到，彭玉麟、杨载福率水师主力4000余人也同时抵达战场。此时，塔齐布认为可以一战了，于是决定主动进攻，“太平军每用以守为战、反客为主之法，若不及时速剿，俟贼营垒既定，攻克为难。”于是，塔齐布率所部3000余人率先杀入敌阵，闻炮声即伏，炮止即进，直接杀往西征军大营，双方在湘潭北郊展开激战。

林绍璋所部为西征军主力，战斗力比较强，塔齐布虽然勇猛，但并没有取得压倒性优势，双方呈相持状态。此时，彭玉麟、杨载福水军投入战斗，水师总统褚汝航也率3000兵马赶到并投入战场。相对陆军而言，以民船为基础的太平军水营力量在湘军水师面前不堪一击，一触即溃，毫无招架之力。三天之内被毁大小船数百只，伤亡逾千人，可谓损失惨重。由于连续战败，西征军内部新老兵之间发生了矛盾，甚至是械斗，搞得一团糟。

内部出现矛盾时，作为主帅林绍璋不想着如何去调节争端，化解矛盾，而是逃之夭夭。29日，在击退湘军进攻后，他立即集中船只，装载财物，乘风上驶。次日午间抵达下滠司，却被彭玉麟、杨载福水师追击上，双方开展战斗，林绍璋惨败，只好弃船登岸，从陆路返回湘潭。可惜，在城下又被塔齐布埋伏，林绍璋溃军连同出城接应部队几乎被全歼，湘潭就此陷落。

此战，西征军主力2万余人几乎全部阵亡，林绍璋仅带4名骑兵逃往岳州，湘军则趁势反攻，西征局势急转直下。此外，湘潭获胜，曾国藩及其湘军一扫出师以来屡次战败之晦气，湖南官僚、士绅均对其刮目相看，从此湘军得以崛起。