Let’s noteでローカルLLM
当社開発のAIシステムでは、質問するとサーバーが関連する情報を返します。それをLet’s noteで受け取り、回答を生成しています。
サーバーとローカルでLLMを分散しています。
ここでいうAIシステムとは、RAG（Retrieval-Augmented Generation）です。知識データベースが適切な知識文書を返し、ローカルPC上のLLMモデル（Gemma3:4Bなど）で文書生成しているわけです。
機密情報は、ChatGPTやGeminiなどのクラウドLLMには一切出さず、全てローカルLLMのみで利用しています。
またスマホやタブレットを介して、出先で思いついた情報を即、知識データベースに保存できるようになっています。これが即、AIの思考、AIとの議論の材料になっています。
検索エンジンやChatGPTでは分からない、自社ならではの技術情報を活用できる形で蓄積し、作戦会議、業務引継、社員教育等に使っているところが現状では一番実用性の高いところです。
AI先生を育てています。
一応、System2（推論、Thinkingなど）レベルのLLMが普通に活用されています。