苗字が確認出来ないので三浦按針あたりとは違うように思います。下級足軽かお抱え力士みたいな扱いかな、と。おそらく西洋人からすると古代ローマの剣闘士(グラジエーター)や作中にも登場したエジプトやトルコの奴隷軍人(マムルーク)みたいなものを思い浮かべ、重ね合わせているような気します。
この場合の奴隷はアフリカで捕まえて新大陸のプランテーションで働かせるようなのではないはず。そもそも西洋における奴隷の定義と日本人がぼんやりと想起する奴隷は乖離していると思ったほうが無難です。
西洋から見た場合、日本は事実上の奴隷みたいな貧窮した人は相応の数、居たはず。当時の西洋からすれば日本は法も遅れています。アイスランドなどはほぼ民主化されてましたし、ポーランド・リトアニアなどかなり進んでます。
無論、明らかな嘘はどうかと思いますが、認識のズレがある場合、どうしてそうなるのか？は考えるべきか、と。
ともかく、こちらの弥助さんは何れアフリカへ行ってもらいたいのですが、おそらく故郷がどこかもわからないでしょうね。