LLMハルシネーション完全解剖：なぜAIは嘘をつき、どう防ぐか

LLMの核心的な動作方式：

入力トークン → [Transformerレイヤー] → 次のトークンの確率分布 → サンプリング

例：
「パリはフランスの」 → {"首都": 0.92, "都市": 0.05, "川": 0.02, ...}
                    → 「首都」を選択

from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.prompts import ChatPromptTemplate

# 核心：コンテキストにない情報は作らないよう明示
SYSTEM_PROMPT = """あなたは提供されたコンテキストのみに基づいて回答するアシスタントです。

ルール：
1. コンテキストにない情報は絶対に作り上げないでください
2. 答えを知らない場合は「提供されたドキュメントにその情報はありません」と言ってください
3. 回答の根拠となる出典を明示してください

コンテキスト：
{context}
"""

def rag_query(question: str, vectorstore) -> dict:
    # 関連ドキュメントの検索
    docs = vectorstore.similarity_search(question, k=4)
    context = "\n\n---\n\n".join([doc.page_content for doc in docs])

    prompt = ChatPromptTemplate.from_messages([
        ("system", SYSTEM_PROMPT),
        ("human", "{question}")
    ])

    llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.1)
    chain = prompt | llm

    response = chain.invoke({
        "context": context,
        "question": question
    })

    return {
        "answer": response.content,
        "sources": [doc.metadata.get("source", "unknown") for doc in docs]
    }

def self_critique_pipeline(question: str, llm) -> str:
    """2段階の自己批判でハルシネーションを削減"""

    # 第1段階：初期回答の生成
    initial_response = llm.invoke(
        f"次の質問に答えてください：{question}"
    )
    initial_answer = initial_response.content

    # 第2段階：自己検討
    critique_prompt = f"""次の質問と回答を批判的に検討してください。

質問：{question}
回答：{initial_answer}

以下を確認してください：
1. 事実的に正確か？
2. 不確かな情報が含まれているか？
3. 間違っている可能性のある主張はあるか？

不確かな部分は明示的に表示し、必要であれば修正された回答を提供してください。
"""

    critique_response = llm.invoke(critique_prompt)
    return critique_response.content

# 実際の使用例
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-4o", temperature=0.3)
result = self_critique_pipeline(
    "Transformerアーキテクチャのself-attentionメカニズムを説明してください",
    llm
)

def chain_of_verification(question: str, llm) -> dict:
    """
    1. 初期回答を生成
    2. 回答から検証質問を生成
    3. 各検証質問に独立して回答
    4. 検証結果で最終回答を修正
    """

    # ステップ1：初期回答
    initial = llm.invoke(question).content

    # ステップ2：検証質問の生成
    verification_prompt = f"""次の回答から、事実確認が必要な主張を抽出し、
各主張を検証できる独立した質問を作成してください。

回答：{initial}

形式：各行に一つの検証質問"""

    vq_raw = llm.invoke(verification_prompt).content
    questions = [q.strip() for q in vq_raw.split('\n') if q.strip()]

    # ステップ3：各検証質問に独立回答
    verifications = {}
    for vq in questions[:5]:  # 最大5つ
        answer = llm.invoke(
            f"次の質問に簡潔に答えてください：{vq}"
        ).content
        verifications[vq] = answer

    # ステップ4：最終回答の修正
    correction_prompt = f"""元の質問：{question}
初期回答：{initial}

検証結果：
{chr(10).join([f'Q: {q}\nA: {a}' for q, a in verifications.items()])}

検証結果を反映して精度を高めた最終回答を作成してください。
不確かな内容は「〜と言われています」の形で表現してください。"""

    final_answer = llm.invoke(correction_prompt).content

    return {
        "initial_answer": initial,
        "verifications": verifications,
        "final_answer": final_answer
    }

from openai import OpenAI
client = OpenAI()

def factual_query(prompt: str) -> str:
    """事実ベースのクエリ用の保守的な設定"""
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.1,    # 低温度 = より保守的、予測可能な出力
        top_p=0.9,          # 上位90%の確率トークンのみからサンプリング
        presence_penalty=0.0,   # 新しいトピック導入のペナルティなし
        frequency_penalty=0.0   # 繰り返しのペナルティなし（事実の繰り返しはOK）
    )
    return response.choices[0].message.content

def creative_query(prompt: str) -> str:
    """創造的タスク用の設定"""
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.9,    # 高い創造性を許可
        top_p=0.95
    )
    return response.choices[0].message.content

# タスクに応じた適切な関数の選択
factual_result = factual_query("HTTPとHTTPSの違いを説明してください")
creative_result = creative_query("AIが変える未来の一日を想像して書いてください")

CITATION_PROMPT = """質問に答える際に必ず守るべきルール：

すべての事実的な主張には [出典: X] の形式でタグを付けてください：
- [出典: X] - Xは具体的な出典
- [出典: 不明] - 事実だと思うが具体的な引用元が分からない場合
- [推論] - 自分の論理的な推論に基づく内容

例：
「Pythonは1991年にリリースされました [出典: Python公式ドキュメント]。
現在最も広く使われるプログラミング言語の一つです [出典: Stack Overflow Developer Survey 2023]。
AI/ML分野では今後も支配的な地位を維持するでしょう [推論]。」

質問：{question}
"""

def cited_response(question: str, llm) -> str:
    prompt = CITATION_PROMPT.format(question=question)
    response = llm.invoke(prompt)
    return response.content

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision

# 応答がコンテキストにどれだけ忠実かを測定
# 0.0（全く忠実でない）〜1.0（完全に忠実）
results = evaluate(
    dataset=test_dataset,
    metrics=[faithfulness, answer_relevancy, context_precision]
)
print(f"Faithfulness:      {results['faithfulness']:.3f}")   # 目標：0.85以上
print(f"Answer Relevancy:  {results['answer_relevancy']:.3f}")  # 目標：0.80以上
print(f"Context Precision: {results['context_precision']:.3f}") # 目標：0.75以上

class HallucinationSafetyConfig:
    """本番環境でハルシネーションを最小化する設定"""

    # 事実ベースのタスク
    FACTUAL = {
        "temperature": 0.1,
        "system_prompt_suffix": "\n\n確かでない情報は「確認が必要です」と表現してください。",
        "use_rag": True,
        "self_critique": True
    }

    # 一般的な会話
    CONVERSATIONAL = {
        "temperature": 0.7,
        "system_prompt_suffix": "\n\n知らない事実は素直に分からないと言ってください。",
        "use_rag": False,
        "self_critique": False
    }

    # コード生成
    CODE = {
        "temperature": 0.2,
        "system_prompt_suffix": "\n\n存在しない関数やライブラリを作り出さないでください。",
        "use_rag": True,  # ドキュメントベースのRAG
        "self_critique": True
    }