少ないメモリーで、変化するものを高速、O(LogN)で足し算する方法を考えた。LLMに色々なアイデアを投げてみた。LLMも四苦八苦し、これは実装できないと行き詰まりながらも辿り着いたのが、Circular Lower Bound Segment Treeだった。これは探索アルゴリズムのSegment Tree（木）をCircular（回転）させたもので、立体の木。これまで具体化、実装が…
続きを読む >>
LLMのSystem2について、Loop Engineeringの話があります。 サラリーマンに毎日、社内ルールーに従って仕事をさせるのと同じように、AI社員（エージェント）に仕事をさせます。それがLoopです。 シューティングゲーム（自分の飛行機が敵の飛行機を撃ち落とす等）の仕組みと同じです。位置を計算して、画面に描画して、撃墜したら（…
続きを読む >>
LLMに文書生成をさせる前段階で、知識データベース（重要メモ、ノウハウ、達内容などの知識文書）から情報を引き出し、プロンプト（指示書）に組み込みます。これはRAG（Retrieval-Augmented Generation）と呼ばれています。LLMのSystem1の話です。 RAGをベクトル計算（cos類似度）のみでやろうとして、知識データベースから適切な情報が…
続きを読む >>
最近のLLMでは、Transformerという仕組みが使われています。これはとてもシンプルで、高校で習う三角関数（sin、cos）で理解できるものです。 Transformerのベクトル計算により、トークン数（言葉、情報）が増えると、2乗倍で作業が増えます。 これがクセものです。 ベクトル計算（コサイン類似度）だけでは非効率的です。 Transfo…
続きを読む >>
当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet's noteで受け取り、回答を生成しています。 サーバーとローカルでLLMを分散しています。 ここでいうAIシステムとは、RAG（Retrieval-Augmented Generation）です。知識データベースが適切な知識文書を返し、ローカルPC上のLLMモデル（Gemma3:4Bなど）で文…
続きを読む >>
平成15年、慶應義塾大学OBからなるシステム開発研究会はホームページ連動型の通販システムを開発しました。当社ミリオンウェーブズは、同じく慶應義塾大学OBの高野眞治氏が経営する東静容器工業株式会社（埼玉県吉川市）に通販システムを持ち込み、容器通販を実験的に行いました。 その後、同じく東静グループの東静容器（…
続きを読む >>
Windows 10からWindows 11のアップデートは、無償で出来ます。 しかし実際、失敗するケースが少なくなく、その原因は結構、深刻だったりします。Windows 10は半年後にサポートが切れますが、混乱が予想されます。それでアップデートサービスを作り、リピーターさんにはお知らせしました。 PCの買い替え需要の原因は、ディスクの故…
続きを読む >>
世間ではAIと言えば、生成AIになっていますが、AIの醍醐味はAIシステムにあります。 当社では約4年前、2021年頃から、AIシステムの研究開発を行っています。まだ世間で「AI」が騒がれる前、弟子にはAIに備えるよう言ってきました。AIが主流になることは20年前から予測し、ある程度の仕込みも行ってきました。 現状の業務システ…
続きを読む >>
Windows10もMicrosoftのサポートが終了します。別にサポートが終了しようが、具体的な危機は明確になっておらず、多くの人達はWindows7を使っています。当社でもWindows7を使っています。それはそれぞれにメリットがあるからです。 しかしWindows7にインストールできないアプリも出てきています。それがWindows10、Windows11へのアップデート…
続きを読む >>
iOS 18、iPadOS 18になって、構成プロファイルをダウンロードしてもインストールされなくなりました。 対処方法は、まず構成プロファイルをダウンロードして保存します。それからファイルを開き、保存された構成プロファイルを開きます。…
続きを読む >>