システム開発とシステムコンサルティングのミリオンウェーブズ menu

スタッフ日記

AIバブル、Transformer N2乗問題

 最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。

 Transformerのベクトル計算により、トークン数(言葉、情報)が増えると、2乗倍で作業が増えます。

 これがクセものです。

 ベクトル計算(コサイン類似度)だけでは非効率的です。
 Transformerは20年以上前の概念であり、既に改善策は色々と作られています。Transformer外部に工夫を凝らすことも手っ取り早い方法ですが、容易にN2乗問題はなくなります。

 しかしそれがわざと放置され、非効率的なエネルギー浪費を理由に、不要なデータセンターが作られ、電力不足が演出されています。
 博打打ち(投機筋、投資家)が不当に相場をつり上げ、ババ抜き(誰が最後に損するか)をやっていて、その結果、メモリー、GPU、SSDが高騰し、Switch2まで値上がりし、皆が迷惑を被っているわけです。

 自律型のAIロボットやAIエージェントが進むと、LLMは分散化に向かいます。スマホ上で軽量のLLMがそれなりの結果を出していることからも、容易に想像できます。

 既にAIの学習データが足りなくなっています。実際、インターネット上に重要な情報はありません。
 AIが学習データを作り出して、学習しています。ヘビが自分の尻尾を食べている状況です。
 そんなにデータセンターはいらないのです。

 上記の視点でも、AIバブルを考えると良いかと思います。

ローカルLLM
【 】

同じジャンル

  • これから増やしていきます!
  • 関連情報

    Let’s noteでローカルLLM

     当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet's noteで受け取り、回答を生成しています。 サーバーとローカルでLLMを分散し…

    AIシステムについて、少し

     世間ではAIと言えば、生成AIになっていますが、AIの醍醐味はAIシステムにあります。 当社では約4年前、2021年頃から、AIシステムの研究開発を行っています。まだ世…