平家のおこぼれにあずかっている人たちがいれば、そうでない人たちもいるので仕方がないでしょうね。
北条氏はおこぼれをもらえていない人たちだったので、頼朝を旗印にしたわけです。