システム開発とシステムコンサルティングのミリオンウェーブズ menu

スタッフ日記

AIバブル、Transformer N2乗問題

 最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。

 Transformerのベクトル計算により、トークン数(言葉、情報)が増えると、2乗倍で作業が増えます。

 これがクセものです。

 ベクトル計算(コサイン類似度)だけでは非効率的です。
 Transformerは20年以上前の概念であり、既に改善策は色々と作られています。Transformer外部に工夫を凝らすことも手っ取り早い方法ですが、容易にN2乗問題はなくなります。

 しかしそれがわざと放置され、非効率的なエネルギー浪費を理由に、不要なデータセンターが作られ、電力不足が演出されています。
 博打打ち(投機筋、投資家)が不当に相場をつり上げ、ババ抜き(誰が最後に損するか)をやっていて、その結果、メモリー、GPU、SSDが高騰し、Switch2まで値上がりし、皆が迷惑を被っているわけです。

 自律型のAIロボットやAIエージェントが進むと、LLMは分散化に向かいます。スマホ上で軽量のLLMがそれなりの結果を出していることからも、容易に想像できます。

 既にAIの学習データが足りなくなっています。実際、インターネット上に重要な情報はありません。
 AIが学習データを作り出して、学習しています。ヘビが自分の尻尾を食べている状況です。
 そんなにデータセンターはいらないのです。

 上記の視点でも、AIバブルを考えると良いかと思います。

AI

同じジャンル

Transformer、AIバブルの終わり

【AIの真実】「わざと」作られたAIバブルの終焉と、真の効率化がもたらす未来 既に書きました通り、現在主流の「Transformer(トランスフォーマー)」というLLMのアー…

AIシステムについて、少し

 世間ではAIと言えば、生成AIになっていますが、AIの醍醐味はAIシステムにあります。 当社では約4年前、2021年頃から、AIシステムの研究開発を行っています。まだ世…

関連情報

Transformer、AIバブルの終わり

【AIの真実】「わざと」作られたAIバブルの終焉と、真の効率化がもたらす未来 既に書きました通り、現在主流の「Transformer(トランスフォーマー)」というLLMのアー…

AIとアイデアを具体化、Circular Lower Bound Segment Tree

少ないメモリーで、変化するものを高速、O(LogN)で足し算する方法を考えた。AIに色々なアイデアを投げてみた。AIも四苦八苦し、これは実装できないと行き詰まりなが…

Loop Engineeringはシューティングゲームと同じ

 LLMのSystem2について、Loop Engineeringの話があります。 サラリーマンに毎日、社内ルールーに従って仕事をさせるのと同じように、AI社員(エージェント)に仕事をさ…

RAGで確実に知識データベースから情報を引き出す

 LLMに文書生成をさせる前段階で、知識データベース(重要メモ、ノウハウ、達内容などの知識文書)から情報を引き出し、プロンプト(指示書)に組み込みます。こ…

Let’s noteでローカルLLM

 当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet's noteで受け取り、回答を生成しています。 サーバーとローカルでLLMを分散し…