1941年4月，新四军第四师与由汤恩伯节制的青海骑兵第八师激战于津浦路西，新四军第四师许多官兵死于马刀之下，著名的老三十二团几乎被打光。白刃格斗中，马上的敌人占有很大的优势。
此战之后，新四军第四师师长彭雪枫决定把师部骑兵连扩充为骑兵团，称之为“红色哥萨克”。周纯麟任骑兵团团长，骑兵战术主要效仿苏联红军骑兵。
彭雪枫首先命令把各单位通信兵骑的马集中起来，又号召领导干部把自己的坐骑交出来，并率先将自己绰号叫“火车头”的白马交出。在组建骑兵团过程中，泗洪人民给予了极大的支持，只要骑兵团看中哪匹马，群众都愿意将马卖给骑兵团。由于淮北人民的大力支持，骑兵团在战斗中不断壮大，不到一年，全团就有700多人马了。
在选用马刀时，自幼习武、精通刀术的彭雪枫没有采用苏军高加索式马刀，而是博采众长亲自设计了一款马刀，刀身修长，刀背轻薄，用精钢打造，刀刃十分锋利，战士们爱不释手，称之为“雪枫刀”。
当年冬天，彭雪枫决定对骑兵团进行短期突击训练。部队集中在介头集、大江庄，彭雪枫亲自教练骑术、整顿纪律，要求骑兵团全体指战员做到：上马像蚱蜢一样轻快，骑坐像磐石一样稳固，奔驰像风雷一样迅疾。在彭雪枫的教导下，指战员迅速提高了骑射技术，不仅能骑着马通过各种复杂地形和障碍，而且能在战马疾驰的时候砍杀敌人，在马背上扫机枪，打小炮；通过封锁线时，战士们能隐藏在马肚子旁边，而后一个翻身，又倒骑在马背上射击，马儿狂奔时，战士们抓住马尾，就能跳上马背。
1942年，为保卫洪泽湖地区夏收，消灭在沙山集抢粮的日军，彭雪枫指示骑兵团“一定要等敌人出村远点再打，这不仅可以发挥我长马刀的作用，还可以避免误伤人民群众”。结果仅9分钟，300余名日军即被骑兵团马刀砍倒大半，80余人当了俘虏。
整个夏收期间，骑兵团打了多次胜仗。从此，骑兵团威震淮北，令敌人闻风丧胆。