🅰️天のまにまに

先日、Groqという物を知りました。


以下はCopirot先生の説明。

＞LPU（Language Processing Unit™）は、AIスタートアップGroqが開発した非常に高速な推論エンジンです。このエンジンは、大規模言語モデル（LLM）のような逐次的な要素を含む計算集約的なアプリケーションに対して、最速の推論を提供します1.

GroqのLPUは、言語モデルを実行するために特別に設計されており、最大500トークン/秒の速度を提供します。比較的高速なLLMであるGemini ProやGPT-3.5は、負荷、プロンプト、コンテキスト、配信によって異なりますが、1秒間に30～50トークンを処理します1.

この推論エンジンは、性能、効率、スピード、精度のために設計された「tensor streaming architecture」を使用しています。エンドユーザーからのクエリに対して情報を処理し、可能な限り多くのトークン（または単語）を提供して、超高速なレスポンスを実現します。また、外部メモリのボトルネックを排除することで、GPUと比較してLLMで桁違いの性能を発揮することもできると言われています1.

GroqのLPUは、AIアプリケーションの展開を改善し、NVIDIAのA100およびH100チップの代替となる可能性があります。ただし、モデルを訓練するためには引き続きNVIDIA GPUや同様のチップが必要です1.

この革新的な推論エンジンは、AIコミュニティにとって重要な存在であり、速度と効率を追求する開発者にとって貴重なツールとなっています

＜ここまで＞


出力を実際に比較したものがあったのでご覧ください。

https://www.youtube.com/watch?v=w8lHm0dlj7c


見ればわかりますが、処理スピードが異様に速いです。
速度だけを見ればChatGPTの3.5でも全く太刀打ちできず。

一般の文章製作ならばコストも安いし、事務仕事、データ解析、ゲーム関連ならもうすぐにでもこちらにシェアを……まだわからないけど、有利になりそうですね。

生成AIの進歩はすごいです。

でもプロット作成などはまだまだChatGPTの方が断然有利ですね。収集しているデータが違いすぎるようです。


でも、エンター押したらすぐに出力するのが凄いですよ。
よろしかったら見てください。