システム開発とシステムコンサルティングのミリオンウェーブズ menu

スタッフ日記

AIバブル、Transformer N2乗問題

 最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。

 Transformerのベクトル計算により、トークン数(言葉、情報)が増えると、2乗倍で作業が増えます。

 これがクセものです。

 ベクトル計算(コサイン類似度)だけでは非効率的です。
 Transformerは20年以上前の概念であり、既に改善策は色々と作られています。Transformer外部に工夫を凝らすことも手っ取り早い方法ですが、容易にN2乗問題はなくなります。

 しかしそれがわざと放置され、非効率的なエネルギー浪費を理由に、不要なデータセンターが作られ、電力不足が演出されています。
 博打打ち(投機筋、投資家)が不当に相場をつり上げ、ババ抜き(誰が最後に損するか)をやっていて、その結果、メモリー、GPU、SSDが高騰し、Switch2まで値上がりし、皆が迷惑を被っているわけです。

 自律型のAIロボットやAIエージェントが進むと、LLMは分散化に向かいます。スマホ上で軽量のLLMがそれなりの結果を出していることからも、容易に想像できます。

 既にAIの学習データが足りなくなっています。実際、インターネット上に重要な情報はありません。
 AIが学習データを作り出して、学習しています。ヘビが自分の尻尾を食べている状況です。
 そんなにデータセンターはいらないのです。

 上記の視点でも、AIバブルを考えると良いかと思います。

ローカルLLM
【 】

同じジャンル

  • これから増やしていきます!
  • 関連情報

    Transformer、AIバブルの終わり

    【AIの真実】「わざと」作られたAIバブルの終焉と、真の効率化がもたらす未来 既に書きました通り、現在主流の「Transformer(トランスフォーマー)」というLLMのアー…

    LLMとアイデアを具体化、Circular Lower Bound Segment Tree

    少ないメモリーで、変化するものを高速、O(LogN)で足し算する方法を考えた。LLMに色々なアイデアを投げてみた。LLMも四苦八苦し、これは実装できないと行き詰まりな…

    Loop Engineeringはシューティングゲームと同じ

     LLMのSystem2について、Loop Engineeringの話があります。 サラリーマンに毎日、社内ルールーに従って仕事をさせるのと同じように、AI社員(エージェント)に仕事をさ…

    RAGで確実に知識データベースから情報を引き出す

     LLMに文書生成をさせる前段階で、知識データベース(重要メモ、ノウハウ、達内容などの知識文書)から情報を引き出し、プロンプト(指示書)に組み込みます。こ…

    Let’s noteでローカルLLM

     当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet's noteで受け取り、回答を生成しています。 サーバーとローカルでLLMを分散し…