Po vlastitom kazivanju, počeo se boriti u 13. godini. Prvi ratnik s kojim se suočio bio je Arima Kihei, poznati mačevalac tog kraja. Prolazeći onuda jednoga dana, Musashi je pročitao obavijest:

Svaki izazov bit će prihvaćen – Arima Kihei.

Odmah je prihvatio izazov. Arima Kihei je bio naoružan mačem i kopljem. Musashi ga je uspio baciti na pod. Kada se Arima Kihei pokušao podići, udario ga je drvenim štapom po glavi i tako ga ubio. Sa 16 godina pobijedio je ratnika goleme snage, Tadashima Akiyamu iz provincije Tajima.