Este mangá leve é sobre um samurai aventureiro chamado Kurogane Yaiba que sabe ser um samurai, e pouco mais. Yaiba vive com seu pai, Kenjurou, na floresta. Um dia, enquanto Yaiba comia, uma tropa de gorilas veio atacá-los. Yaiba e seu pai escaparam e se esconderam dentro de uma caixa, mas não sabiam que a caixa estava cheia de abacaxis e seria transportada para a cidade. Na cidade, Yaiba descobre 1 que é um guerreiro lendário e tem que lutar contra o mal de um estudante do ensino médio de aparência demoníaca chamado Takeshi.
As pessoas que Yaiba encontra ao longo de sua jornada para se tornar um verdadeiro samurai o encorajam, treinam ou inspiram à grandeza, embora no fundo ele ainda seja uma criança, e sua incrível habilidade com uma espada só é igualada por sua bondade para com seus amigos. No entanto, ele tende a agir antes de pensar, e sua teimosia tende a transformar potenciais aliados em inimigos, embora seus amigos logo o espancam e salvem a situação. Este grupo improvável embarca em uma série de aventuras incríveis onde conhecem figuras lendárias da história japonesa e, finalmente, superam obstáculos impossíveis e arriscam tudo para salvar o planeta inteiro de uma ameaça de outro mundo.
É uma história de amor, amizade, trabalho duro e nunca desistir.