AIバブル、Transformer N2乗問題
最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。
Transformerのベクトル計算により、トークン数(言葉、情報)が増えると、2乗倍で作業が増えます。
これがクセものです。
ベクトル計算(コサイン類似度)だけでは非効率的です。
Transformerは20年以上前の概念であり、既に改善策は色々と作られています。Transformer外部に工夫を凝らすことも手っ取り早い方法ですが、容易にN2乗問題はなくなります。
しかしそれがわざと放置され、非効率的なエネルギー浪費を理由に、不要なデータセンターが作られ、電力不足が演出されています。
博打打ち(投機筋、投資家)が不当に相場をつり上げ、ババ抜き(誰が最後に損するか)をやっていて、その結果、メモリー、GPU、SSDが高騰し、Switch2まで値上がりし、皆が迷惑を被っているわけです。
自律型のAIロボットやAIエージェントが進むと、LLMは分散化に向かいます。スマホ上で軽量のLLMがそれなりの結果を出していることからも、容易に想像できます。
既にAIの学習データが足りなくなっています。実際、インターネット上に重要な情報はありません。
AIが学習データを作り出して、学習しています。ヘビが自分の尻尾を食べている状況です。
そんなにデータセンターはいらないのです。
上記の視点でも、AIバブルを考えると良いかと思います。