接下来的时间，刘泽着力开始整编淮南的降军。义成之战，收降三万余人，阴陵之战收降两万余人，最后寿春城破之时，投降加俘虏也有五万左右，合计起来，总共收编了近十万的降兵，如何安置这些降兵是摆在刘泽面前的最大问题。
占领了淮南，随着地盘的延伸，刘泽肯定是需要更多的军队，但全盘地不分良莠地将降兵接收下来，也不符合刘泽的治军思想。刘泽以七万之众轻而易举地打败了袁术的十五六万人马，足以说明兵不在多而在精的道理，走精兵路线一直是刘泽所倡导的，所以在淮南降军中选优汰劣重新整编极为地重要。
刘泽将一些淮南兵之中的骨干中下层军官保送到东点军校进行系统地学习，又从东点军校中抽调一批毕业学员担任淮南军的尉级军官。在降兵之中择其精锐力量与第四军团混编，成立第九、第十、第十一步兵师和第六骑兵师，并组成新的第五军团。
第五军团的都督由太史慈来担任，太史慈也升为正将军衔，副都督则由原第一军团第二师总兵陈到担任，陈到也由偏将升为副将。第五军团的参军位置，刘泽则是安排了阎象出任，不过刘泽没有给予他贾诩陈宫平起平坐的品秩，而是实授他为比二千石之职，低了贾诩一级。新成立的第十、第十一步兵师、第六骑兵师划归第五军团所辖，另外原属第四军团的第八步师也划到了第五军团旗下。第十步兵师总兵由雷薄担任。第十一步兵师总兵由陈兰担任，第六骑兵师总兵由陆勉担任。新成立的第九步兵师则归第四军团所辖，总兵由陈纪担任。新编四个师的副总兵则都是由原先徐州军旅都尉择优升任的。
刘泽亲自为雷薄、陈兰、陈纪、陆勉四位新任总兵授衔，不过他们都没有获得总兵的基准军衔偏将军衔，而是被授予了低一阶的裨将军衔。此次对新降将士的授衔都采取降一级授衔的原则，从将军到普通的士兵，均是降一阶授以军衔，这并不是刘泽的歧视，而是基于军衔制的规定。军衔制的实施细则中规定，每个职位对应基准的军衔。但根据军功可以酌情降一级或升一级军衔。雷薄等人作为新降之人，自然是没有军功在身的，完全符合降一级军衔的规定，以后他们可以凭借着军功来提升军衔和职位。所有降将的军衔降一级授衔也成为徐州军的一个原则。一直在后来贯彻执行下去。
野战军择优选用了四万降兵。其次在第二波的选拨中。二万多人被录用为郡县的城防兵，至于剩下被淘汰掉的四万降兵，除了一少部分卸甲归田回乡之外。大部分被刘泽划为了屯田兵。在徐州，屯田基本上是民屯，在淮南，刘泽也淮备实施屯田，除了招募流民进行民屯之外，这四万降兵专门成立了军屯，一面进行农业生产，一面进行军事训练，也算是预备役，将来战事激烈之事，这些屯田兵也可以利用一二。
淮南原有两个郡治，一个九江郡，一个庐江郡，袁术称帝之后，把九江郡改为了淮南尹，大陈国灭亡之后，刘泽拨乱反正，又将淮南尹改回为九江郡，将郡治迁往合肥。庐江郡郡治皖城，连同皖城以南的几个县，已为孙策所得，不过庐江郡北部八个县尚在刘泽手中，加上弋阳、期思两个原属汝南的县，刘泽便以六安为郡治，重置庐江郡。另外，刘泽将原属九江郡的在淮北的几个县和沛国南部，汝南郡的几个县合起来，新设立了一个淮北郡，以。寿春作为扬州的州治，虽然不能再统领江东四郡了，但做为淮南的政治经济中心，其地位还是不可动摇的。
刘泽任命李丰、梁刚、乐就为九江郡、庐江郡、淮北郡的太守，韩胤为治中从事，不过他们也都和陈纪一样，享受不到太守两千石的待遇，降为千石。同徐州的太守一样，他们也只是拥有行政权的太守，军事权和司法权一样没有了，比之汉朝原先的太守，刘泽治下的太守权力受到了极大的限制，彻底地沦为了文官。
九江郡治合肥，下辖合肥、阴陵、西曲阳、寿春、当涂、钟离、成德、浚遒、东城、淮陵、盱眙十一县（由于淮河北岸的下蔡等三个县划归到了淮北郡，而巢湖以东的历阳、全椒、阜陵三县为孙策所得，所以刘泽便将原属徐州下邳国的盱眙、淮陵、东城三县划入到九江郡的治下）；庐江郡治六安、下辖六安、龙舒、雩娄，灊县、蓼县、安丰、安风、阳泉、弋阳、期思十县；淮北郡治下蔡，下辖下蔡、平阿、义成、龙亢、谷阳、向县、洨县、虹县、公丘、慎县、富波、汝阴、原鹿十三县。淮南两郡原有人口近百万，而且淮南没有经过黄巾军的蹂躏，原本为富庶之地，但这几年在袁术的折腾之下，民不聊生，人口锐减，刘泽拿下寿春之后的最新人口统计淮南两郡人口已不足三十万（不包括被孙策占去的皖城、历阳等县人口），如何休养生息，恢复淮南的生产力是摆在刘泽面前的头等大事。刘泽下令减免了淮南三郡两年的赋税并拨付了大量的赈灾钱粮，让百姓恢复生产，将荒芜的土地集中起来进行屯田，澄清吏治，惩治豪强，淮南的局面也渐渐地为之好转。