ご質問感謝します！
日常生活を送る上で確かに疑問に思う事だと思いますので、簡単な作中内での素材についての説明を書こうと思います。

今回の話では一言でダイヤの剣としておりますが、実際は日本のダイヤとは少しだけ違います。後付けのようになってしまうのですが素材となったダイヤはただの炭素の塊ではありません。
銀やダイヤに関しましては作品において魔力をよく通す物質として描かれております。ですが、この両者は地球においては武器にするには些か問題があり、実用性が無いために鉄や鋼などが重宝され、希少性の高い鉱石として扱われました。
私の描く世界においては銀やダイヤはその鉱石を作り出す過程で周囲にある魔素を多く取り込むといった設定を作っていました。取り込まなかった場合は地球と同じような性質になりますが、取り込んだ場合は一部の性質が大きく変化すると言った特徴がある、といった形です。
その変化を簡単に言いますと持ち主の体から常時、発せられる魔力（魔力を使わなくても微量ながら体外へ漏れ出します。これらを感じ取る事ができるスキルなどが探知などの索敵系スキルです。なので、エルのように完全に魔力の漏れを無くせる人とは銀やダイヤはあまり相性がよくありません）を剣全体に自動的に纏わせ衝撃などを膜となった魔力が受け止めてくれます（ただし、使用者の魔力量によっては膜の強度が変化するため簡単に割れてしまいます）。この点で魔力は自動的に持ち主から供給されるので衝撃に弱いという弱点が解消されたように見えます。硬度の低い銀が武器として扱われるのも同じ理由で鉄よりも魔力を通しやすく、変化した特徴から壊れにくく、そして一部の魔物や魔族に特効があるため高価値な武器として扱われております。

一点からの衝撃に弱いなどの弱点が解消される分だけ、鉄や鋼よりも武器にするための労力は高く（作り出す際に多くの魔力を必要としたり、最初に手を加えた人以外が途中で制作を請け負った場合、魔力が混ざり合って劣化してしまう等の弱点があります）、また完成した際の能力も高まります。
加えて多くの魔素を取り込んだダイヤや銀自体が希少な故に市場に出回る事は殆どありません（多くが武器となる前にアクセサリーなどの装飾品に使われるため）。異世界流通においては元値に近い値段で購入が可能になるため安く感じますが、本来の市場で出した場合はシンでさえも首を傾げるほどの値が付きます。

たどたどしい説明となってしまいましたが少しでも解釈の助けになって頂けましたら幸いです。