Das Wort „shiba inu" (柴犬) setzt sich aus zwei japanischen Wörtern zusammen: „shiba" (柴) und „inu" (犬).
„Shiba" bezieht sich auf eine Art von kleinem Gebüsch, das in Japans Bergen vorkommt, was auf etwas Kleines, Kompaktes oder Ländliches hindeutet. „Inu" bedeutet einfach „Hund."
Zusammen übersetzt sich „Shiba Inu" ungefähr als „Gestrüpp-Hund" oder „kleiner ländlicher Hund", was den Ursprung der Rasse in Japans ländlichen Gebieten widerspiegelt.