Evaluation

Advanced RAG의 모든 것! 문서 청킹 전략(Semantic/Recursive/Agentic), 리랭킹(Cohere/ColBERT/Cross-encoder), Query Transformation, 에이전틱 RAG(Self-RAG/CRAG), Multi-modal RAG, 평가(RAGAS/TruLens), 프로덕션 최적화.

BFCL(Berkeley Function Calling Leaderboard)의 모든 것! 벤치마크 카테고리(Simple/Multiple/Parallel/Relevance/AST), 평가 메트릭, 모델 성능 비교(Claude/GPT/Gemini/Llama), 자체 모델 평가 방법, Tool Calling 개선 전략.

AI 모델 평가를 위한 주요 벤치마크 데이터셋 완전 가이드. 컴퓨터 비전(ImageNet, COCO, ADE20K), NLP(GLUE, SuperGLUE, SQuAD, MMLU), 코드(HumanEval, MBPP), LLM 평가(HELM, MT-Bench)까지 상세히 분석합니다.

Gemini API를 실서비스에 붙일 때 필요한 프롬프트 설계, structured output, safety 정책, 평가 루프, 비용 통제 방법을 운영 관점에서 정리한 가이드입니다.

LLM을 올바르게 평가하는 완전 가이드. MMLU, MT-Bench, HumanEval 같은 표준 벤치마크부터 RAGAS로 RAG 시스템 평가, LM-Evaluation-Harness 실전 사용, 그리고 프로덕션 LLM 평가 파이프라인까지 상세히 다룹니다.

LLM 기반 챗봇의 품질 평가 체계를 체계적으로 구축하는 방법을 다룹니다. RAGAS 프레임워크를 활용한 RAG 파이프라인 평가, LLM-as-Judge 패턴, 자동화 테스트 파이프라인 구축, 프로덕션 모니터링까지 실전 가이드를 제공합니다.

RAG(Retrieval-Augmented Generation) 시스템의 품질을 체계적으로 평가하는 방법과 흔히 발생하는 실패 패턴들을 분석합니다. Retriever, Reranker, Generator 각 컴포넌트의 평가 지표부터 RAGAS, DeepEval 같은 프레임워크 비교, 그리고 실전 디버깅 워크플로우까지 다룹니다.

RAG 챗봇을 실제 서비스에서 안정적으로 운영하기 위한 평가 체계를 정리한다. 오프라인 벤치마크, LLM-as-a-Judge, 온라인 실험, 알림 임계치, 회귀 방지 파이프라인까지 코드 중심으로 다룬다.