- Published on
공개된 대규모 학습 기술 보고서와 로그북 일곱 건을 골라 성공 지표가 아니라 실패와 대응만 뽑아 정리했습니다. Llama 3 405B의 54일간 419건 중단 통계에서 체크포인트 주기를 역산하고, DeepSeek-V3와 Kimi K2가 손실 스파이크를 각각 다른 층위에서 없앤 방식을 비교합니다. Olmo 계열이 안정성 수정을 아키텍처에 남긴 이유, OPT-175B와 BLOOM 로그북이 남긴 실패 기록의 원형, SmolLM3와 Marin이 공개한 데이터 혼합 실험 노트도 다룹니다. 각 사례마다 출처를 링크하고, 보고서가 말하지 않아 재현할 수 없는 부분을 따로 적었습니다.