曾国藩和胡林翼在翰林院同事一年，相互春秋相仿，又同为湖南人，故订交密切。道光二十一年，胡林翼之父詹事府右詹事胡达源病逝，胡林翼奉父柩回益阳客籍。曾胡二人便在那年分离了。三年丧期满，胡林翼捐贵州安顺府知府，后又改镇远府知府、黎平府知府。在知府任上，因构造乡勇弹压苗民动乱有功，升为贵东道。吴文镕在贵州巡抚任上，极看重胡林翼的军事才调，到武昌代理湖广总督后，急向朝廷求调胡林翼来湖北援助。胡带六百乡勇来到金口时，吴文镕已阵亡。胡不肯投奔接任的荆州将军旗人台涌，因而将六百乡勇留在金口，单身来到长沙，与曾国藩、左宗棠筹议进止。