历时9个多月的海外考察大大丰富了山本五十六的知识和阅历，其政治和军事思想也日趋成熟。为了实现自己依靠航空强国强军的梦想，山本回国以后未选择海军省副官的职务，而是于1924年9月1日调往霞浦海军航空队，并于12月1日正式就任霞浦海军航空队副队长兼教育长。在仅仅1年多的时间里，大大改变了霞浦航空队的面貌，使日本海军航空兵走上独立发展的道路。
出于工作需要，山本抓紧一切机会学习航空知识，甚至每天还坚持接受几个小时的飞行训练，并达到单独驾驶教练机的程度。山本对工作的热情和杰出的领导才华很快征服了航空队的每一位成员。有一个叫三和义勇的中尉军官，自视很高，不愿就任山本的副官，竟毫不畏惧地找到山本，不料山本说：“我到任的第一感觉是，本队的军纪尚待加强，军纪不好就不可能有良好的军队，要改善军纪，首先就得从禁止迟到、早退着手。从我们两个开始做起吧！”山本的威严使这位孤傲的军官不知所措，连声说：“好的，我会全力以赴，尽职尽责。”一位叫桑原虎雄的军官曾这样谈到对山本的印象：“他寡言少语，不轻易发表意见，但他对下属却有着一种不可思议的魅力。”