システム開発とシステムコンサルティングのミリオンウェーブズ menu

スタッフ日記

Transformer、AIバブルの終わり

【AIの真実】「わざと」作られたAIバブルの終焉と、真の効率化がもたらす未来

 既に書きました通り、現在主流の「Transformer(トランスフォーマー)」というLLMのアーキテクチャーは、あえて不完全なまま採用されている側面があります。莫大な計算コストをかけさせることで、意図的にAIバブルが作り出されました。
 しかし当然ながら、その無駄を劇的に改善する新しい技術(アーキテクチャー)が開発されます。

1 富士通の「PHOTON」
 富士通が開発した新アーキテクチャー。従来のTransformerと比べて、最大475倍という圧倒的なマルチクエリー性能を発揮します。

2 Subquadratic社の「SubQ」
 消費電力を大幅に抑えながらも、大手AI企業のトップモデルと同等の性能を維持。一度に処理できるテキスト量はTransformerの最大12倍に上ります。

 AIは本来「低コスト」で動くものです。「AIは金食い虫だ」というのは、現在の不完全なシステムがもたらしている幻想にすぎません。

 よく考えてみてください。私たち人間は、たった3食のご飯を食べるだけで、1日中高度な知的活動を行うことができます。本来、高度な思考システムにそこまでの暴利的なエネルギーは必要ありません。

 これからアーキテクチャーの効率化が進み、AIのコストは劇的に下がります。パソコンやスマホだけでなく、ありとあらゆる家電や端末に「あたりまえに」AIが組み込まれる時代になります。

 AIを動かすインフラコストがゼロに近づいていく中で、本当に価値を持つものは何でしょうか?
 それは、システムを動かす「電気代」ではなく、「情報そのものの価値」です。
 新しい情報の発見、革新的な技術開発、独自の知識ベースの構築、これらを生み出すプロセスにこそ、私たちはコストと時間をかけるべきです。

 当然ながら、その無駄を改善する動きが出てくるわけです。

AI

同じジャンル

AIバブル、Transformer N2乗問題

 最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。 Transformerのベクトル計…

AIシステムについて、少し

 世間ではAIと言えば、生成AIになっていますが、AIの醍醐味はAIシステムにあります。 当社では約4年前、2021年頃から、AIシステムの研究開発を行っています。まだ世…

関連情報

AIとアイデアを具体化、Circular Lower Bound Segment Tree

少ないメモリーで、変化するものを高速、O(LogN)で足し算する方法を考えた。AIに色々なアイデアを投げてみた。AIも四苦八苦し、これは実装できないと行き詰まりなが…

Loop Engineeringはシューティングゲームと同じ

 LLMのSystem2について、Loop Engineeringの話があります。 サラリーマンに毎日、社内ルールーに従って仕事をさせるのと同じように、AI社員(エージェント)に仕事をさ…

RAGで確実に知識データベースから情報を引き出す

 LLMに文書生成をさせる前段階で、知識データベース(重要メモ、ノウハウ、達内容などの知識文書)から情報を引き出し、プロンプト(指示書)に組み込みます。こ…

AIバブル、Transformer N2乗問題

 最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数(sin、cos)で理解できるものです。 Transformerのベクトル計…

Let’s noteでローカルLLM

 当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet's noteで受け取り、回答を生成しています。 サーバーとローカルでLLMを分散し…