100万トークン時代：RAGは不要になるのか？

# シナリオ：10,000件のドキュメント知識ベース、各500トークン
# 1日1,000クエリ

total_docs_tokens = 10_000 * 500  # 5,000,000トークン

# 方法A：Long Context（全ドキュメントをコンテキストに）
# GPT-4oインプット価格：$2.50 / 1Mトークン
cost_long_context_per_query = total_docs_tokens * (2.50 / 1_000_000)
daily_cost_long_context = cost_long_context_per_query * 1_000
print(f"Long context 1日コスト: ${daily_cost_long_context:.2f}")
# 出力：Long context 1日コスト: $12500.00 (!!)

# 方法B：RAG（関連チャンク上位5件、約1,000トークン）
rag_context_tokens = 1_000
cost_rag_per_query = rag_context_tokens * (2.50 / 1_000_000)
daily_cost_rag = cost_rag_per_query * 1_000
print(f"RAG 1日コスト: ${daily_cost_rag:.2f}")
# 出力：RAG 1日コスト: $2.50

ratio = daily_cost_long_context / daily_cost_rag
print(f"RAGは{ratio:.0f}倍安い")
# 出力：RAGは5000倍安い

長いコンテキストにおける位置別の性能：

先頭部分：  ████████████ 85%  ← LLMが注目
中間部分：  ████████     65%  ← 性能低下！（Lost in the Middle）
末尾部分：  ████████████ 87%  ← LLMが注目

RAGは関連情報を常に先頭に配置 → この問題を回避

# Long Context RAGパターン
# ステップ1：RAGで候補チャンクを多めに検索（再現率重視）
# ステップ2：長めのコンテキストに入れてLLMに丁寧に読ませる

def long_context_rag_query(query: str, vectordb, llm):
    # 通常のRAG：上位5チャンク
    # Long Context RAG：上位20チャンク
    retrieved_chunks = vectordb.similarity_search(query, k=20)

    # 約20K〜40Kトークンのコンテキスト
    context = "\n\n---\n\n".join([chunk.page_content for chunk in retrieved_chunks])

    prompt = f"""以下のドキュメントに基づいて質問に答えてください。

ドキュメント：
{context}

質問：{query}

回答："""

    return llm.invoke(prompt)

from sentence_transformers import CrossEncoder

# クロスエンコーダーReranker（Cohere、Jina、BGE-rerankerなど）
reranker = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")

def rag_with_reranking(query: str, vectordb, llm, top_k=20, rerank_top=5):
    # 1. 広めに検索（リコール重視）
    candidates = vectordb.similarity_search(query, k=top_k)

    # 2. Rerankerで精密にスコアリング
    pairs = [(query, chunk.page_content) for chunk in candidates]
    scores = reranker.predict(pairs)

    # 3. 上位5件のみ最終コンテキストに使用
    ranked = sorted(zip(scores, candidates), reverse=True)
    top_chunks = [chunk for _, chunk in ranked[:rerank_top]]

    context = "\n\n".join([chunk.page_content for chunk in top_chunks])

    return llm.invoke(f"Context:\n{context}\n\nQuestion: {query}")

2023：GPT-4 → 8Kトークン
2024：Claude 3 → 20万、Gemini 1.5 → 100万トークン
2025年以降：さらなる拡大が見込まれる

入力価格の推移：
2023 GPT-4：   $30.00 / 1Mトークン
2024 GPT-4o：   $2.50 / 1Mトークン
2025年以降：さらに低下予定

知識ベースのサイズは？
├─ 50件未満の短いドキュメント → Long Contextを検討
├─ 数百〜数千件 → Long Context RAG（上位20件 + 50Kコンテキスト）
└─ 数万件以上 → Standard RAG + Reranking

クエリの種類は？
├─ 特定事実の検索 → Standard RAG
├─ 複雑なクロスドキュメント推論 → GraphRAGまたはMulti-hop RAG
└─ 全体要約/分析 → Long ContextまたはGlobal GraphRAG

レスポンス速度の要件は？
├─ 1秒未満 → Standard RAG（小さいコンテキスト）
├─ 3秒以内 → Long Context RAG（30K以下）
└─ 柔軟 → Long Contextも選択肢

月次予算は？
├─ $100未満 → Standard RAG一択
├─ $1,000以下 → Long Context RAG可能
└─ 制限なし → 品質優先で選択