どのような方にも入ってほしくない距離間というプライベートスペースがありますが、もしかしたらお相手のプライベートスペースに入ってしまった可能性があります。
もしくはお相手の女性がそこまで「人との付き合い」を必要と感じない可能性もあります。発達障害を持つ方にそういった方は少なくありませんので。
断られたとしても、その人の考えの一つでございますのであまり重く受け取らないように考えてみるのがよろしいかと思います。