https://ledge.ai/articles/google_deepmind_lc-vs-rag
https://ledge.ai/articles/google_deepmind_lc-vs-rag
画像の出典：DALL-E3によりLedge.aiが生成
2024年7月、Google DeepMindとミシガン大学の研究者たちは、LLM（大規模言語モデル）の長文理解における2つの主要なアプローチ「Retrieval Augmented Generation（RAG）」と「ロングコンテキストLLM（LC）」の性能を包括的に比較した論文を発表した。
この研究は、LLMの長文処理能力に関する重要な知見を提供するとともに、コスト効率を最大限に引き出す新たなハイブリッド手法「SELF-ROUTE」を提案している。
研究の背景と目的
従来、RAGは長文処理の際に、外部データベースから関連情報を検索し、それを元に回答を生成する手法として注目されていた。この方法は、必要な情報のみを抽出するため、計算コストが抑えられるという利点がある。一方で、Googleの「Gemini-1.5-Pro」やOpenAIの「GPT-4O」といった最新のLLMは、膨大なトークン数にわたる文脈を直接処理し、高い性能を発揮することが可能になっている。
同研究の目的は、これら2つのアプローチを直接比較し、それぞれの利点と欠点を明らかにすること、そして、両者の長所を組み合わせた新たな手法「SELF-ROUTE」を提案することだという。研究では、長文理解における効率性と性能の両立を目指すとした。
主要な発見
パフォーマンスの比較
LLMを用いた複数の公開データセットにおいて、RAGとLCを徹底的に比較した結果、リソースが十分に確保されている場合、LCがRAGを全体的に上回る性能を示したという。ただし、RAGは特に入力テキストがモデルのコンテキストウィンドウサイズを大幅に超える場合において、依然として有効であることが確認された。
下図は、3つの最新のLLMを用いてRAGとLCの性能を比較したもので、LCがRAGに比べて優れたパフォーマンスを示すことを視覚的に表している。
コスト効率
LCは高い性能を発揮するものの、その計算コストはトークン数に比例して急激に増加する。一方、RAGは必要な情報のみを取得するため、コスト効率が非常に高い。このため、タスクによっては、RAGがLCに匹敵する性能を、はるかに低コストで達成できることが示された。
ハイブリッド手法「SELF-ROUTE」
研究者たちは、RAGとLCの長所を組み合わせることで、コストを削減しながらもLCに匹敵する性能を実現するハイブリッド手法「SELF-ROUTE」を提案した。この手法は、最初にRAGを用いてクエリに回答可能かどうかを判断し、必要に応じてLCを適用するという2段階のプロセスを採用している。この結果、全体の計算コストを最大65%削減しつつ、LCに近い性能を維持できることが明らかになった。
下図は、RAGとLCが生成する予測がどれほど一致するかを示しており、SELF-ROUTEがいかにして効率的にRAGとLCを組み合わせるかを視覚的に説明したもの。
研究者たちは、同研究がロングコンテキスト LLM の実用化に貴重な洞察をもたらし、RAG 技術の最適化に関する将来の研究への道を開くものと考えていると期待を述べた。
0 件のコメント:
コメントを投稿