Reproducibility

All Posts

Published on
2026년 8월 12일
기술 리포트 비판적으로 읽기 — 무엇이 적히고 무엇이 빠지는가
ai-papers model-internals tech-report benchmarks evaluation reproducibility
모델 기술 리포트에서 검증 가능한 항목과 검증 불가능한 항목을 구분하는 법을 정리합니다. 자체 보고 벤치마크의 한계, config와 리포트가 어긋나는 지점, 게이트된 저장소에서 확인할 수 없는 값, 그리고 시리즈 전체에서 쓴 확인 절차를 실제 사례로 보여 줍니다.
Published on
2026년 8월 2일
LLM 벤치마크 도구를 뜯어보기 — 같은 MMLU가 하네스마다 다른 점수를 내는 이유
llm-evaluation benchmark lm-evaluation-harness helm reproducibility
벤치마크 점수는 모델의 속성이 아니라 특정 조건에서 수행된 측정의 결과입니다. 같은 LLaMA 65B가 같은 MMLU에서 63.6점과 48.8점을 동시에 받은 사건은, 하네스가 프롬프트를 어떻게 조립하고 정답을 어떻게 파싱하느냐가 점수의 상당 부분을 결정한다는 것을 보여 줍니다. 이 글은 평가 하네스가 내부에서 실제로 수행하는 여섯 단계를 분해하고 lm-evaluation-harness 0.4.12, HELM 0.5.16, Inspect AI를 비교합니다. 작은 모델 하나를 처음부터 끝까지 돌리는 명령어와 태스크 정의를 직접 고쳐 보는 예시를 넣었고, 마지막에 결과를 재현하려면 무엇을 반드시 기록해야 하는지 목록으로 정리했습니다.
Published on
2026년 8월 2일
LLM Ops가 실제로 하는 일 — 재현, 오염, 체크포인트, 승격, 그리고 롤백
mlops llmops reproducibility evaluation model-registry
LLM Ops를 도구 목록이 아니라 책임 목록으로 정리했습니다. 학습 실행을 다시 만들 수 있게 하는 실행 명세에 무엇이 들어가야 하는지, 평가 세트 오염을 어떻게 막고 감사하는지, 체크포인트 주기를 장애율에서 역산하는 공식과 보관 비용의 실제 숫자, 평가를 CI에 넣을 때 무엇을 게이트로 삼는지를 다룹니다. 후반부는 학습과 서빙 사이의 인수인계에서 실제로 깨지는 지점들과 배포 후 회귀 감지, 롤백 설계입니다. 도구는 카테고리별로만 소개하고 벤더 가격은 넣지 않았습니다.
Published on
2026년 5월 14일
2026년 새로운 파이썬 노트북 스택 — Marimo·Quarto, 그리고 Jupyter 이후의 데이터 워크플로 (Observable·Pluto·Polars·DuckDB까지)
marimo quarto jupyter python-notebook reactive-notebook data-science observable reproducibility data-publishing polars
Jupyter의 숨은 상태(hidden state)·비-diff 가능·재현 불가 문제는 2026년에도 데이터 사이언스 워크플로의 가장 큰 마찰점이다. Marimo는 노트북을 .py 파일로 저장하고 셀 순서 대신 데이터플로 그래프로 실행하는 반응형 노트북이고, Quarto는 RMarkdown의 후계자로 다국어 멀티-포맷 데이터 퍼블리싱을 가능하게 한다. 여기에 Observable Framework(JS-네이티브)·Pluto.jl(Julia·반응형 노트북의 조상)·Polars·DuckDB가 새로운 노트북 컴퓨트 레이어로 자리 잡았다. Jupyter가 무엇을 잘못했는지, Marimo가 어떻게 그것을 풀었는지, Quarto로 EDA·내부 도구·논문 보조 자료를 어떻게 퍼블리시하는지, 그리고 "노트북-as-앱" 패턴까지 깊게 본다.

Reproducibility

reproducibility (4)

기술 리포트 비판적으로 읽기 — 무엇이 적히고 무엇이 빠지는가

LLM 벤치마크 도구를 뜯어보기 — 같은 MMLU가 하네스마다 다른 점수를 내는 이유

LLM Ops가 실제로 하는 일 — 재현, 오염, 체크포인트, 승격, 그리고 롤백

2026년 새로운 파이썬 노트북 스택 — Marimo·Quarto, 그리고 Jupyter 이후의 데이터 워크플로 (Observable·Pluto·Polars·DuckDB까지)