境愈加艰辛的他不得不中断私塾的生活，小小的年纪就要跟着母亲为了谋生度日去下地劳作。在那段贫困的日子里，没有任何娱乐方式的刘铭传，喜欢上了跟着村子里的汉子们耍枪弄棒。穷人家的孩子，最不怕的就是出气力，自然而然地，几年下来，他练就了一身的好武艺。到了十七八的岁数上，不要说远近数十里的一般人物，就是那些曾经传授过他武艺的好手们，一个个也是无不在他的重拳粗腿之下，被打得满地找牙，甘拜下风。
凡是了解刘铭传的亲近人都说，那个时候能叫刘铭传崇拜的五体投地的唯一人物，就是汉高祖刘邦。他们都记得，刘铭传很喜欢登上家乡的大潜山，怀抱大刀、仰天厉声长唤，“大丈夫当生有爵，死有谥！”
为什么刘铭传单单爱慕上了刘邦呢？其实很简单，同样都姓刘，而且，几乎除了“亭长”这个职位没有混得上，还有由于迫于生计而最后曾干起了大碗喝酒、大块吃肉，成为官府追捕锁拿的要犯之外，至于其他的方面，刘铭传完全可以与当年的刘邦可以一绝高下。那就是，他们都曾经是一样的，被乡民嗤之以鼻的无赖和恶棍。
啸聚山林，以劫富济贫为名，实质上却是满足了自己曾经渴望而不可求的生活yu望的刘铭传，当轰轰烈烈的太平天国运动兴起，尤其是三年前太平军定都天京，随即开始席卷南方的时候，面对如此强劲的太平军的势头，据说还曾一度想到过要效仿毫州的捻子，也加入进她的行列。
可无巧不成书，刘铭传已经派人送归顺信给了庐州的赖汉英，偏偏就在他率众祭旗下山的节骨眼儿，突遇一阵莫名其妙的狂风，祭台上快赶上他大腿粗细的大纛旗旗杆子竟然被吹断成了两截。据说，就是因为这种不祥的预兆，才使得刘铭传又一下子“幡然悔悟”，转而罢了投顺太平军之念，却接受了远远地躲在庐州城外，当着新任庐州知府的马新贻的招安。土匪摇身一变，成了忠实于大清的团练，开始与太平军对抗。
其实，所谓大纛旗的不祥预兆，只不过就是刘铭传的托词。在他的