在湘潭攻陷的同时，石祥祯带领大队人马从岳州南下，敏捷收回湘阴。
次日，林绍璋带着一万人解缆了。一起晓行夜宿，衔枚疾进。过汨罗镇时，驻扎镇上的绿营都司早已逃窜。林绍璋没有在汨罗逗留，持续南下。第四天夜晚，军队宿在桥头镇。为不轰动长沙，决定翌日转而西行，过湘江，沿巷子持续南下。在离宁乡县城三十里的处所，林绍璋叫一名军帅带三千人奇袭宁乡，并叮咛拿下县城后，即驻扎在城里，不再赶到湘潭。林绍璋带着余下七千人，翻过嵇茄山，从小道进步，过靳江，进驻姜畲市。第六天下午，仿佛从天而降似的呈现在湘潭城下。长沙协右营守备崔宗光，做梦都没想到西征军会越太长沙来打湘潭。五百营兵平素骄懒惯了，这下都慌镇静张地爬上城头。这五百少爷兵如何是七千征湘军的敌手，到掌灯时分，湘潭城便告易主。
就在这个时候，埋伏在岳州城四周的石祥祯、曾天养、林绍璋带领二万五千征湘军，趁夜重新杀进岳州城，藏在城里的周国材、周国贤等三百人与之共同，燃烧烧屋，杀死守城门的官勇，翻开城门。驻扎在城里的湘勇也没有防备这一着，仓促应战，打不了几下，便纷繁败逃。曾国藩在康福的庇护下仓促逃出城外，幸而宿在洞庭湖上的彭玉麟、杨载福闻城内有变，仓促率海军前来策应。曾国藩慌乱地上了船，朝长沙方向奔去。在鹿角四周，与从羊楼司败下的王錱、李续宾相会，湘勇水陆两支人马夺路逃命，直到过了湘阴后才喘过气来。
大半年来埋没在连云山的周国虞三兄弟和幸存的六七十号征义堂骨干，在失利中总结经验，明白了溪涧之水只要汇入江河才气掀起波澜的事理，当他们听到承平军重回湖南，在湘北一带闹得热火朝天的动静后，遂分歧决定投奔承平军，接管承平天国的带领，插手拜上帝会。石祥祯、罗纲领等热忱采取了这批迷途知返的兄弟，并请周国虞插手征湘军的带领。周国虞对湘北地形很熟谙，指出湘鄂交界之地的羊楼司阵势险要，宜在此处打埋伏。石祥祯欣然接管这个建议，并由此而制定了一个作战计划。
早有细作陈述给驻扎在汨罗镇的征湘军老营，石祥祯调集世人计议。祥祯说："曾妖头老奸大奸，并不分开水陆洲，如何是好？"曾天养说："必然要把他引出来，择一无益之地，一鼓聚歼。"国虞说："此去处南百余里，离长沙城六十里摆布，有一处名叫靖港的处所，为沩水入湘江口，水流湍急，船易北下而难南进；且对岸铜官山，山深林密，便于伏兵，设法把曾妖头引到此处，定叫他有来无回。""如何引他来呢？"石祥祯问。