此外，一些日军高级将领还有元帅头衔。日本的元帅是授予少数陆、海军大将的一种荣誉称号，带有勋位性质，并非是一级正式军衔。获得元帅称号者的正式官衔通常为元帅+军衔，如“元帅、山县有朋陆军大将”、“元帅、东乡平八郎海军大将”。可见，它们的军衔不是元帅而是大将。日本的天皇也享有陆军大元帅头衔，同样，这也不是军衔，而是全国最高军事统帅的称号。到1945年第二次世界大战结束时，日本累计有31个被晋封为元帅，其中，陆军元帅17人，海军元帅14人。
目前，日本军衔制规定，上将（将一）是最高军衔，规定授予参谋长联席会议主席和陆、海、空三军参谋长；陆军各军长、海军舰队司令、空军航空方面队司令中将（将二）；陆军师长、海军队群司令、空军战斗航空团团长等为少将（将补）；陆军师参谋长、团长、海军舰长、空军战斗航空团副团长等为上校；陆军副团长、海军副舰长、空军飞行队长为中校；陆军营长为少校；陆军连长、海军分队长、空军中队长等为上尉；陆军排长、海军分队长、空军小队长等为中、少尉。