GraphRAG完全ガイド：知識グラフがRAGの限界をいかに超えるか

標準RAG：
文書 → チャンク分割 → エンベッド → ベクターDB → 類似度検索 → 関連チャンク

GraphRAG：
文書 → エンティティ抽出 → 知識グラフ構築 → コミュニティ検出 →
     → 階層的サマリー生成 → 多段階検索（ローカル + グローバル）

入力テキスト：
「サムスンは2024年にGalaxy S25を発売し、AppleのiPhone 16と直接競合しています。
Galaxy S25はQualcomm Snapdragon 8 Eliteチップを搭載しています。」

抽出されるエンティティ：
- サムスン（組織）
- Galaxy S25（製品）
- Apple（組織）
- iPhone 16（製品）
- Qualcomm（組織）
- Snapdragon 8 Elite（製品/技術）

抽出される関係：
- サムスン --[発売]--> Galaxy S25
- Galaxy S25 --[競合]--> iPhone 16
- Galaxy S25 --[搭載]--> Snapdragon 8 Elite
- Qualcomm --[製造]--> Snapdragon 8 Elite

Level 0（最詳細）：個別エンティティ/関係のサマリー
Level 1：小規模コミュニティのサマリー
Level 2：中規模コミュニティのサマリー（最もよく使われる）
Level 3（最包括的）：グローバルトピックのサマリー

# インストール
pip install graphrag

# プロジェクト初期化
mkdir my-graphrag-project
graphrag init --root ./my-graphrag-project

# settings.yamlの主要設定
llm:
  api_key: ${GRAPHRAG_API_KEY}
  type: openai_chat
  model: gpt-4o-mini  # インデックス作成用（コスト削減のためmini使用）
  model_supports_json: true

embeddings:
  llm:
    model: text-embedding-3-small

input:
  type: file
  file_type: text
  base_dir: "input"  # ここにドキュメントを配置

chunks:
  size: 1200
  overlap: 100

# インデックス作成（知識グラフの構築）
# graphrag index --root ./my-graphrag-project
# 内部的に行われること：
# 1. ドキュメントのチャンク分割
# 2. エンティティと関係の抽出（LLMの呼び出し）
# 3. グラフの構築
# 4. コミュニティ検出の実行
# 5. 各コミュニティのサマリー生成（LLMの呼び出し）

# Python APIでのクエリ
import asyncio
from graphrag.query.api import local_search, global_search

# ローカル検索：特定エンティティ/関係中心の質問
async def search_local(query: str):
    result = await local_search(
        config_dir="./my-graphrag-project",
        data_dir="./my-graphrag-project/output",
        root_dir="./my-graphrag-project",
        community_level=2,
        response_type="multiple paragraphs",
        query=query,
    )
    return result.response

# グローバル検索：ナレッジベース全体の合成が必要な質問
async def search_global(query: str):
    result = await global_search(
        config_dir="./my-graphrag-project",
        data_dir="./my-graphrag-project/output",
        root_dir="./my-graphrag-project",
        community_level=2,
        response_type="multiple paragraphs",
        query=query,
    )
    return result.response

# 使用例
local_result = asyncio.run(search_local(
    "サムスンとTSMCの関係はどうなっていますか？"
))

global_result = asyncio.run(search_global(
    "これらの文書における半導体産業の主なトレンドは何ですか？"
))

import pandas as pd
import networkx as nx

# GraphRAG出力ファイルからエンティティと関係をロード
entities_df = pd.read_parquet("./output/entities.parquet")
relationships_df = pd.read_parquet("./output/relationships.parquet")

print(f"総エンティティ数：{len(entities_df)}")
print(f"総関係数：{len(relationships_df)}")

# NetworkXグラフの構築
G = nx.DiGraph()

for _, entity in entities_df.iterrows():
    G.add_node(entity["title"], type=entity["type"])

for _, rel in relationships_df.iterrows():
    G.add_edge(
        rel["source"],
        rel["target"],
        weight=rel["weight"],
        description=rel["description"]
    )

# 最も連結度の高いエンティティ（ハブ）を探す
top_hubs = sorted(G.degree(), key=lambda x: x[1], reverse=True)[:10]
print("最も重要なエンティティ Top 10：")
for entity, degree in top_hubs:
    print(f"  {entity}：{degree}個の接続")

グローバルクエリ（全体要約が必要）：
- 標準RAG：  網羅性40%、多様性57%
- GraphRAG：  網羅性72%、多様性62%
  → 網羅性が80%向上！

ローカルクエリ（特定事実の検索）：
- 標準RAG：  精度 約65%
- GraphRAG：  精度 約70%
  → わずかな改善

速度：
- 標準RAG：  0.5〜2秒
- GraphRAG：  3〜10秒（コミュニティサマリーの集約のため）

# GraphRAGインデックスコストの見積もり
# 前提：1,000件のドキュメント、各1,000トークン

num_documents = 1000
tokens_per_doc = 1000
total_tokens = num_documents * tokens_per_doc  # 100万トークン

# インデックス作成でのLLM呼び出し回数の見積もり
entity_extraction_calls = total_tokens / 1200  # チャンクごとに1回
# 各呼び出し：約800入力トークン + 約400出力トークン

community_summary_calls = 200  # コミュニティ数 × レベル
# 各呼び出し：約2,000入力トークン + 約500出力トークン

# GPT-4o-mini基準（$0.15/1M入力、$0.60/1M出力）
entity_input_cost = (entity_extraction_calls * 800 / 1_000_000) * 0.15
entity_output_cost = (entity_extraction_calls * 400 / 1_000_000) * 0.60
community_cost = (community_summary_calls * 2500 / 1_000_000) * 0.40

total_indexing_cost = entity_input_cost + entity_output_cost + community_cost
print(f"推定インデックスコスト：${total_indexing_cost:.2f}")
# 1,000件のドキュメント：約$1〜5（GPT-4o-mini使用時）
# 10,000件のドキュメント：約$10〜50
# 100,000件のドキュメント：約$100〜500

# クエリコスト（グローバル検索）
# グローバル検索は各クエリで全コミュニティサマリーを処理
# 200コミュニティ × 500トークン = クエリあたり約10万トークン処理
global_query_cost = (100_000 / 1_000_000) * 2.50  # GPT-4o価格
print(f"グローバル検索のクエリあたりコスト：${global_query_cost:.3f}")  # $0.25/クエリ

# pip install lightrag-hku
from lightrag import LightRAG, QueryParam
from lightrag.llm import gpt_4o_mini_complete

rag = LightRAG(
    working_dir="./lightrag-storage",
    llm_model_func=gpt_4o_mini_complete,
)

# ドキュメントの追加
with open("document.txt", "r") as f:
    rag.insert(f.read())

# クエリ（naive、local、global、hybridの4モード）
result = rag.query(
    "主なトレンドは何ですか？",
    param=QueryParam(mode="global")  # hybridモードも効果的
)