それもあるかなとは思いますが、あくまでごく個人的には、「常識」という道との距離感覚、って感じですね。

「常軌を逸している」のは、常識という道から逸れたイメージで。
「狂っている」というのは、そもそも常識という道がこつんと存在しないもしくはそもそも歪んでいる、といったイメージが、あります。

とはいえもちろんこれらは私の個人的感覚ですので……！　いろんな捉えかたが、きっとあるんだろうなあと思います。思ってます。