1931年夏天，图哈切夫斯基又回到了国防人民委员部，任副国防人民委员兼任武器装备部长。或许是他多年来的不懈努力起到了作用，或许是在列宁格勒出色的工作引起斯大林的重视，或是由于1929年夏天联共(布)中央通过的《关于苏联国防状况的决议》要求加快技术装备改进的速度、实现武器装备现代化需要有人领导这项工作，而图哈切夫斯基正是这样的最佳人选。1931年，苏联正在实施第一个五年计划，军队改换装备工作也提到了议事日程。此时，人们想到了图哈切夫斯基的报告，并把它从保险柜里拿出来，作为改革的蓝本，由它的提出者～～图哈切夫斯基来领导执行。1936年他又被任命为第一副国防人民委员。图哈切夫斯基如鱼得水。
43岁的他在装备部长位置上精力充沛。他的魄力大，能力强，许多军事技术装备成果，尽管毫无经验，但都由于他的努力一件件变为现实，尤其使航空兵、装甲坦克兵、空降兵方面得到长足发展。图哈切夫斯基掌握几国语言，他非常关注外军的发展动态，了解世界上的一切新的发明。作为身居高位的副国防人民委员，在技术革新上他很敏锐，常常提出一些专业性很强的问题，就连设计专家也感到惊异，例如对鱼雷飞机的设想、飞机上安装无后坐力速射炮、步兵动力火箭炮等。这种步兵动力火箭炮成为后来卫国战争中著名的“喀秋莎”火箭炮的雏型，是图哈切夫斯基创新思想的产儿，是其思想发展的硕果。他特别注重试验和发展降落伞，认为这是在未来战争中快速机动不可缺少的装备。1936年基辅举行的一次演习中，展示了大量空降兵的伞降，这在欧洲各国军队中尚属首次。图哈切夫斯基是苏军空降兵的创始人。苏联卫国战争中红军使用的许多武器都与图哈切夫斯基时期的设计有关。他还主张红军的航空兵应当得到迅速扩充，这种扩充不应是通常的10位数的增长，而应当是迅速而有决定意义上的飞跃，应有2至3倍的兵力优势，其航空兵飞机总数应有1.5万架。