システム開発とシステムコンサルティングのミリオンウェーブズ menu

スタッフ日記

Transformer、AIバブルの終わり

【AIの真実】「わざと」作られたAIバブルの終焉と、真の効率化がもたらす未来

 既に書きました通り、現在主流の「Transformer(トランスフォーマー)」というLLMのアーキテクチャーは、あえて不完全なまま採用されている側面があります。莫大な計算コストをかけさせることで、意図的にAIバブルが作り出されました。
 しかし当然ながら、その無駄を劇的に改善する新しい技術(アーキテクチャー)が開発されます。

1 富士通の「PHOTON」
 富士通が開発した新アーキテクチャー。従来のTransformerと比べて、最大475倍という圧倒的なマルチクエリー性能を発揮します。

2 Subquadratic社の「SubQ」
 消費電力を大幅に抑えながらも、大手AI企業のトップモデルと同等の性能を維持。一度に処理できるテキスト量はTransformerの最大12倍に上ります。

 AIは本来「低コスト」で動くものです。「AIは金食い虫だ」というのは、現在の不完全なシステムがもたらしている幻想にすぎません。

 よく考えてみてください。私たち人間は、たった3食のご飯を食べるだけで、1日中高度な知的活動を行うことができます。本来、高度な思考システムにそこまでの暴利的なエネルギーは必要ありません。

 これからアーキテクチャーの効率化が進み、AIのコストは劇的に下がります。パソコンやスマホだけでなく、ありとあらゆる家電や端末に「あたりまえに」AIが組み込まれる時代になります。

 AIを動かすインフラコストがゼロに近づいていく中で、本当に価値を持つものは何でしょうか?
 それは、システムを動かす「電気代」ではなく、「情報そのものの価値」です。
 新しい情報の発見、革新的な技術開発、独自の知識ベースの構築、これらを生み出すプロセスにこそ、私たちはコストと時間をかけるべきです。

 当然ながら、その無駄を改善する動きが出てくるわけです。

ローカルLLM
【 】

同じジャンル

  • これから増やしていきます!
  • 関連情報

    LLMとアイデアを具体化、Circular Lower Bound Segment Tree

    少ないメモリーで、変化するものを高速、O(LogN)で足し算する方法を考えた。LLMに色々なアイデアを投げてみた。LLMも四苦八苦し、これは実装できないと行き詰まりな…

    Loop Engineeringはシューティングゲームと同じ

     LLMのSystem2について、Loop Engineeringの話があります。 サラリーマンに毎日、社内ルールーに従って仕事をさせるのと同じように、AI社員(エージェント)に仕事をさ…

    RAGで確実に知識データベースから情報を引き出す

     LLMに文書生成をさせる前段階で、知識データベース(重要メモ、ノウハウ、達内容などの知識文書)から情報を引き出し、プロンプト(指示書)に組み込みます。こ…

    AIバブル、Transformer N2乗問題

     最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。 Transformerのベクトル計…

    Let’s noteでローカルLLM

     当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet's noteで受け取り、回答を生成しています。 サーバーとローカルでLLMを分散し…