RAGで確実に知識データベースから情報を引き出す
LLMに文書生成をさせる前段階で、知識データベース（重要メモ、ノウハウ、達内容などの知識文書）から情報を引き出し、プロンプト（指示書）に組み込みます。これはRAG（Retrieval-Augmented Generation）と呼ばれています。LLMのSystem1の話です。
RAGをベクトル計算（cos類似度）のみでやろうとして、知識データベースから適切な情報が抽出できず失敗し、ベクトル計算自体を捨ててしまうケースが見受けられます。
まずTransformerの仕組みを思い出すのが大事です。それと人間の認知の仕組みと比較します。それによりベクトル計算だけでは足りないことに気付くかと思います。その足りないものを実装します。そうすると軽量、高速、確実に知識文書を抽出することができます。
ベクトル計算は強力で必要です。しかしそれだけでは足りず、プラスαが必要なことが当然です。LLMがどこまで進歩しても、人間に及ばない部分があります。
前の投稿で述べた通り、Transformerでベクトル計算のみに焦点を絞ることで、リソース（GPU、メモリーなど）の無駄遣い、エネルギー不足、AIバブルが意図的に作り出されています。
人間の認知メカニズムは効率的です。その理由を考えるわけです。