GraphRAG 완전 가이드: 지식 그래프가 RAG의 한계를 어떻게 넘는가

일반 RAG:
문서들 → 청크 분할 → 임베딩 → 벡터 DB → 유사도 검색 → 관련 청크

GraphRAG:
문서들 → 엔티티 추출 → 지식 그래프 구성 → 커뮤니티 탐지 →
        → 계층적 요약 생성 → 다단계 검색 (Local + Global)

입력 텍스트:
"삼성전자는 2024년 갤럭시 S25를 출시하여 애플 아이폰 16과 직접 경쟁합니다.
갤럭시 S25는 퀄컴 스냅드래곤 8 Elite 칩을 탑재했습니다."

추출되는 엔티티:
- 삼성전자 (조직)
- 갤럭시 S25 (제품)
- 애플 (조직)
- 아이폰 16 (제품)
- 퀄컴 (조직)
- 스냅드래곤 8 Elite (제품/기술)

추출되는 관계:
- 삼성전자 --[출시]--> 갤럭시 S25
- 갤럭시 S25 --[경쟁]--> 아이폰 16
- 갤럭시 S25 --[탑재]--> 스냅드래곤 8 Elite
- 퀄컴 --[제조]--> 스냅드래곤 8 Elite

Level 0 (최세밀): 개별 엔티티/관계 요약
Level 1: 소규모 커뮤니티 요약
Level 2: 중규모 커뮤니티 요약 (일반적으로 이걸 많이 사용)
Level 3 (최포괄): 전체 주제 요약

# 설치
pip install graphrag

# 프로젝트 초기화
mkdir my-graphrag-project
graphrag init --root ./my-graphrag-project

# settings.yaml 주요 설정
llm:
  api_key: ${GRAPHRAG_API_KEY}
  type: openai_chat
  model: gpt-4o-mini  # 인덱싱용 (비용 절감 위해 mini 사용)
  model_supports_json: true

embeddings:
  llm:
    model: text-embedding-3-small  # 임베딩용

input:
  type: file
  file_type: text
  base_dir: "input"  # 문서를 여기에 넣기

chunks:
  size: 1200
  overlap: 100

# 인덱싱 (지식 그래프 구축)
# graphrag index --root ./my-graphrag-project
# 이 명령이 내부적으로 하는 일:
# 1. 문서 청킹
# 2. 엔티티 및 관계 추출 (LLM 호출)
# 3. 그래프 구성
# 4. 커뮤니티 탐지
# 5. 각 커뮤니티에 대한 요약 생성 (LLM 호출)

# Python API로 쿼리
import asyncio
from graphrag.query.api import local_search, global_search

# Local Search: 특정 엔티티/관계 중심 질문
async def search_local(query: str):
    result = await local_search(
        config_dir="./my-graphrag-project",
        data_dir="./my-graphrag-project/output",
        root_dir="./my-graphrag-project",
        community_level=2,
        response_type="multiple paragraphs",
        query=query,
    )
    return result.response

# Global Search: 전체 지식베이스 합성이 필요한 질문
async def search_global(query: str):
    result = await global_search(
        config_dir="./my-graphrag-project",
        data_dir="./my-graphrag-project/output",
        root_dir="./my-graphrag-project",
        community_level=2,
        response_type="multiple paragraphs",
        query=query,
    )
    return result.response

# 사용 예시
local_result = asyncio.run(search_local(
    "삼성전자와 TSMC의 관계는 어떻게 되나요?"
))

global_result = asyncio.run(search_global(
    "이 문서들에서 반도체 산업의 주요 트렌드는 무엇인가요?"
))

import pandas as pd
import networkx as nx

# GraphRAG 출력 파일에서 엔티티와 관계 로드
entities_df = pd.read_parquet("./output/entities.parquet")
relationships_df = pd.read_parquet("./output/relationships.parquet")

print(f"총 엔티티 수: {len(entities_df)}")
print(f"총 관계 수: {len(relationships_df)}")

# NetworkX 그래프 구성
G = nx.DiGraph()

for _, entity in entities_df.iterrows():
    G.add_node(entity["title"], type=entity["type"])

for _, rel in relationships_df.iterrows():
    G.add_edge(
        rel["source"],
        rel["target"],
        weight=rel["weight"],
        description=rel["description"]
    )

# 가장 연결이 많은 엔티티 (허브 찾기)
top_hubs = sorted(G.degree(), key=lambda x: x[1], reverse=True)[:10]
print("가장 중요한 엔티티 Top 10:")
for entity, degree in top_hubs:
    print(f"  {entity}: {degree}개 연결")

글로벌 질문 (전체 요약 필요):
- 일반 RAG:    포괄성 40%, 다양성 57%
- GraphRAG:    포괄성 72%, 다양성 62%
  → 포괄성 80% 향상!

로컬 질문 (특정 사실):
- 일반 RAG:    정확도 ~65%
- GraphRAG:    정확도 ~70%
  → 약간 개선

속도:
- 일반 RAG:    0.5-2초
- GraphRAG:    3-10초 (커뮤니티 요약 합산 때문)

# GraphRAG 인덱싱 비용 추정
# 가정: 1,000개 문서, 각 1,000 토큰

num_documents = 1000
tokens_per_doc = 1000
total_tokens = num_documents * tokens_per_doc  # 1M 토큰

# 인덱싱 단계별 LLM 호출 횟수 추정
entity_extraction_calls = total_tokens / 1200  # 청크당 1번
# 각 추출 호출: ~800 토큰 입력 + ~400 토큰 출력

community_summary_calls = 200  # 커뮤니티 수 × 레벨
# 각 요약 호출: ~2000 토큰 입력 + ~500 토큰 출력

# GPT-4o-mini 기준 비용 ($0.15 / 1M input, $0.60 / 1M output)
entity_input_cost = (entity_extraction_calls * 800 / 1_000_000) * 0.15
entity_output_cost = (entity_extraction_calls * 400 / 1_000_000) * 0.60
community_cost = (community_summary_calls * 2500 / 1_000_000) * 0.40

total_indexing_cost = entity_input_cost + entity_output_cost + community_cost
print(f"추정 인덱싱 비용: ${total_indexing_cost:.2f}")
# 1,000개 문서: 약 $1-5 (GPT-4o-mini 사용 시)
# 10,000개 문서: 약 $10-50
# 100,000개 문서: 약 $100-500

# 쿼리 비용 (Global Search)
# Global search는 커뮤니티 요약 전체를 LLM에 보내므로 쿼리당 비용이 높음
# 커뮤니티가 200개, 각 요약 500토큰이면 쿼리당 ~100K 토큰 처리
global_query_cost = (100_000 / 1_000_000) * 2.50  # GPT-4o 기준
print(f"Global search 쿼리당 비용: ${global_query_cost:.3f}")  # $0.25/쿼리

# pip install lightrag-hku
from lightrag import LightRAG, QueryParam
from lightrag.llm import gpt_4o_mini_complete

rag = LightRAG(
    working_dir="./lightrag-storage",
    llm_model_func=gpt_4o_mini_complete,
)

# 문서 추가
with open("document.txt", "r") as f:
    rag.insert(f.read())

# 쿼리 (naive, local, global, hybrid 4가지 모드)
result = rag.query(
    "주요 트렌드는 무엇인가요?",
    param=QueryParam(mode="global")  # hybrid 모드도 효과적
)