LLM 환각(Hallucination) 완전 해부: 왜 AI는 거짓말을 하고, 어떻게 막는가

LLM의 핵심 작동 방식:

입력 토큰들 → [Transformer 레이어들] → 다음 토큰에 대한 확률 분포 → 샘플링

예:
"파리는 프랑스의" → ["수도": 0.92, "도시": 0.05, "강": 0.02, ...]
                    → "수도" 선택

질문: "2024년 노벨 물리학상 수상자는?"
(훈련 데이터 마감이 2023년인 경우)

모델 내부:
- "노벨 물리학상" + "수상자" + "2024" → 패턴 매칭
- 이전에 노벨상 수상자 이름 뒤에 나오는 패턴을 학습함
- → 그럴듯한 이름을 자신있게 생성

from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.prompts import ChatPromptTemplate

# 핵심: 컨텍스트에 없는 정보는 말하지 말 것을 명시
SYSTEM_PROMPT = """당신은 제공된 컨텍스트만을 기반으로 답변하는 어시스턴트입니다.

규칙:
1. 컨텍스트에 없는 정보는 절대 만들어내지 마세요
2. 답을 모르면 "제공된 문서에 해당 정보가 없습니다"라고 말하세요
3. 답변의 근거가 되는 출처를 명시하세요

컨텍스트:
{context}
"""

def rag_query(question: str, vectorstore) -> dict:
    # 관련 문서 검색
    docs = vectorstore.similarity_search(question, k=4)
    context = "\n\n---\n\n".join([doc.page_content for doc in docs])

    prompt = ChatPromptTemplate.from_messages([
        ("system", SYSTEM_PROMPT),
        ("human", "{question}")
    ])

    llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.1)
    chain = prompt | llm

    response = chain.invoke({
        "context": context,
        "question": question
    })

    return {
        "answer": response.content,
        "sources": [doc.metadata.get("source", "unknown") for doc in docs]
    }

def self_critique_pipeline(question: str, llm) -> str:
    """2단계 자기비판으로 환각 감소"""

    # 1단계: 초기 답변 생성
    initial_response = llm.invoke(
        f"다음 질문에 답해주세요: {question}"
    )
    initial_answer = initial_response.content

    # 2단계: 자기 검토
    critique_prompt = f"""다음 질문과 답변을 검토해주세요.

질문: {question}
답변: {initial_answer}

다음을 확인해주세요:
1. 사실적으로 정확한가?
2. 불확실한 정보가 있는가?
3. 잘못됐을 가능성이 있는 주장이 있는가?

불확실한 부분은 명시적으로 표시하고, 필요한 경우 수정된 답변을 제공해주세요.
"""

    critique_response = llm.invoke(critique_prompt)
    return critique_response.content

# 실제 사용
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-4o", temperature=0.3)
result = self_critique_pipeline("파이썬 GIL이 멀티스레딩에 미치는 영향은?", llm)

def chain_of_verification(question: str, llm) -> dict:
    """
    1. 초기 답변 생성
    2. 검증 질문 생성
    3. 각 검증 질문에 독립적으로 답변
    4. 검증 결과로 최종 답변 수정
    """

    # Step 1: 초기 답변
    initial = llm.invoke(question).content

    # Step 2: 검증 질문 생성
    verification_prompt = f"""다음 답변에서 사실 확인이 필요한 주장들을 추출하고,
각 주장을 검증할 수 있는 독립적인 질문을 만들어주세요.

답변: {initial}

형식: 각 줄에 하나의 검증 질문"""

    verification_questions_raw = llm.invoke(verification_prompt).content
    questions = [q.strip() for q in verification_questions_raw.split('\n') if q.strip()]

    # Step 3: 각 검증 질문에 독립 답변
    verifications = {}
    for vq in questions[:5]:  # 최대 5개
        answer = llm.invoke(
            f"다음 질문에 간결하게 답해주세요: {vq}"
        ).content
        verifications[vq] = answer

    # Step 4: 최종 답변 수정
    correction_prompt = f"""원래 질문: {question}
초기 답변: {initial}

검증 결과:
{chr(10).join([f'Q: {q}\nA: {a}' for q, a in verifications.items()])}

검증 결과를 반영하여 정확도를 높인 최종 답변을 작성해주세요.
불확실한 내용은 "~로 알려져 있습니다" 형태로 표현하세요."""

    final_answer = llm.invoke(correction_prompt).content

    return {
        "initial_answer": initial,
        "verifications": verifications,
        "final_answer": final_answer
    }

from openai import OpenAI
client = OpenAI()

def factual_query(prompt: str) -> str:
    """사실 기반 쿼리용 보수적 설정"""
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.1,    # 낮은 온도 = 더 보수적, 예측 가능한 출력
        top_p=0.9,          # 상위 90% 확률 토큰에서만 샘플링
        presence_penalty=0.0,   # 새로운 주제 도입 페널티 없음
        frequency_penalty=0.0   # 반복 페널티 없음 (사실 반복은 OK)
    )
    return response.choices[0].message.content

def creative_query(prompt: str) -> str:
    """창의적 태스크용 설정"""
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.9,    # 높은 창의성 허용
        top_p=0.95
    )
    return response.choices[0].message.content

# 태스크에 따라 적절한 함수 선택
factual_result = factual_query("HTTP와 HTTPS의 차이점을 설명해주세요")
creative_result = creative_query("AI가 바꿔놓을 미래의 하루를 상상해서 써주세요")

CITATION_PROMPT = """다음 질문에 답할 때 반드시 지켜야 할 규칙:

1. 모든 사실적 주장에는 [출처: X] 형태로 출처를 표시하세요
2. 출처를 모르는 주장은 [출처: 불명확] 으로 표시하세요
3. 당신의 추론에 기반한 내용은 [추론] 으로 표시하세요

예시:
"파이썬은 1991년에 출시됐습니다 [출처: 파이썬 공식 문서].
현재 가장 널리 사용되는 프로그래밍 언어 중 하나입니다 [출처: Stack Overflow Developer Survey 2023].
앞으로도 AI/ML 분야에서 지배적인 위치를 유지할 것입니다 [추론]."

질문: {question}
"""

def cited_response(question: str, llm) -> str:
    prompt = CITATION_PROMPT.format(question=question)
    response = llm.invoke(prompt)
    return response.content

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy

# 응답이 컨텍스트에 얼마나 충실한지 측정
# 0.0 (전혀 충실하지 않음) ~ 1.0 (완전히 충실함)
results = evaluate(
    dataset=test_dataset,
    metrics=[faithfulness, answer_relevancy]
)
print(f"Faithfulness: {results['faithfulness']:.3f}")
# 0.85 이상이면 양호한 RAG 시스템

class HallucinationSafetyConfig:
    """프로덕션 환경에서 환각을 최소화하는 설정"""

    # 사실 기반 태스크
    FACTUAL = {
        "temperature": 0.1,
        "system_prompt_suffix": "\n\n중요: 확실하지 않은 정보는 '확인이 필요합니다'라고 표현하세요.",
        "use_rag": True,
        "self_critique": True
    }

    # 일반 대화
    CONVERSATIONAL = {
        "temperature": 0.7,
        "system_prompt_suffix": "\n\n알 수 없는 사실은 솔직하게 모른다고 말하세요.",
        "use_rag": False,
        "self_critique": False
    }

    # 코드 생성
    CODE = {
        "temperature": 0.2,
        "system_prompt_suffix": "\n\n존재하지 않는 함수나 라이브러리를 만들어내지 마세요.",
        "use_rag": True,  # 문서 기반 RAG
        "self_critique": True
    }