とはいえ主人公も「用心棒」呼びなのでお互い様です。
悪口にも取れますが、相手の実力を「その他大勢」ではないと認めているとも言えます。

簡単にはぶっ殺せそうもないので、悪口で応報。
そういう関係もありでしょう