• 歴史・時代・伝奇
  • 創作論・評論

🎈🎈新情報。ChatGPTのはるか上を行くものが出てきそう

先日、Groqという物を知りました。


以下はCopirot先生の説明。

>LPU(Language Processing Unit™)は、AIスタートアップGroqが開発した非常に高速な推論エンジンです。このエンジンは、大規模言語モデル(LLM)のような逐次的な要素を含む計算集約的なアプリケーションに対して、最速の推論を提供します1.

GroqのLPUは、言語モデルを実行するために特別に設計されており、最大500トークン/秒の速度を提供します。比較的高速なLLMであるGemini ProやGPT-3.5は、負荷、プロンプト、コンテキスト、配信によって異なりますが、1秒間に30~50トークンを処理します1.

この推論エンジンは、性能、効率、スピード、精度のために設計された「tensor streaming architecture」を使用しています。エンドユーザーからのクエリに対して情報を処理し、可能な限り多くのトークン(または単語)を提供して、超高速なレスポンスを実現します。また、外部メモリのボトルネックを排除することで、GPUと比較してLLMで桁違いの性能を発揮することもできると言われています1.

GroqのLPUは、AIアプリケーションの展開を改善し、NVIDIAのA100およびH100チップの代替となる可能性があります。ただし、モデルを訓練するためには引き続きNVIDIA GPUや同様のチップが必要です1.

この革新的な推論エンジンは、AIコミュニティにとって重要な存在であり、速度と効率を追求する開発者にとって貴重なツールとなっています

<ここまで>


出力を実際に比較したものがあったのでご覧ください。

https://www.youtube.com/watch?v=w8lHm0dlj7c


見ればわかりますが、処理スピードが異様に速いです。
速度だけを見ればChatGPTの3.5でも全く太刀打ちできず。

一般の文章製作ならばコストも安いし、事務仕事、データ解析、ゲーム関連ならもうすぐにでもこちらにシェアを……まだわからないけど、有利になりそうですね。

生成AIの進歩はすごいです。

でもプロット作成などはまだまだChatGPTの方が断然有利ですね。収集しているデータが違いすぎるようです。


でも、エンター押したらすぐに出力するのが凄いですよ。
よろしかったら見てください。

2件のコメント

  • 掲載しているイラストのクオリティが高っ!!

    イラストレーターだったらメカデザイナーに
    ジョブチェンジして、aiの進化に怯えていると思いますね。
  • DALL-E3画伯はコンフィグをきっちっと入れておくと本当に簡単なオーダーで作ってくれます^^b
コメントの投稿にはユーザー登録(無料)が必要です。もしくは、ログイン
投稿する