Skip to content

All Posts

  • Published on
    공개 벤치마크는 우리 문제를 대신 재 주지 않습니다. 입력 분포도, 정답의 정의도, 실패의 비용 구조도 다르기 때문입니다. 이 글은 실제 트래픽에서 사례를 건져 올려 실패 유형별로 층화하고, 정답을 정의할 수 없는 과제에 루브릭을 씌우고, 채점 스크립트를 붙이는 과정을 실제 코드로 따라갑니다. 예시가 몇 개면 충분한지 신뢰구간으로 감을 잡고, 작은 평가셋에서 두 모델의 5퍼센트포인트 차이가 통계적으로 의미 있는지 McNemar 검정과 부트스트랩으로 판정하는 방법까지 다룹니다. 마지막으로 평가셋을 CI에 붙이는 법, 오염을 막는 법, 그리고 평가셋 자체가 낡는 문제를 정리합니다.
  • Published on
    텍스트·이미지·에이전트는 같은 "성능"이라는 단어를 쓰지만 측정 구조가 전혀 다릅니다. 텍스트는 정답이 있는 척하는 객관식과 정답이 없는 생성형으로 갈라지고, 이미지는 분포 거리와 사람 판단이 어긋나며, 에이전트는 부분 성공·환경 상태·비결정성 때문에 애초에 하나의 숫자로 압축되지 않습니다. 이 글은 각 영역의 대표 지표가 실제로 계산하는 값을 정의 수준에서 뜯어보고, 영역마다 "지표는 높은데 실제로는 나쁜" 사례를 하나씩 붙였습니다. 마지막에 영역·과제·지표·놓치는 것을 한 장의 표로 정리합니다.
  • Published on
    벤치마크 점수는 모델의 속성이 아니라 특정 조건에서 수행된 측정의 결과입니다. 같은 LLaMA 65B가 같은 MMLU에서 63.6점과 48.8점을 동시에 받은 사건은, 하네스가 프롬프트를 어떻게 조립하고 정답을 어떻게 파싱하느냐가 점수의 상당 부분을 결정한다는 것을 보여 줍니다. 이 글은 평가 하네스가 내부에서 실제로 수행하는 여섯 단계를 분해하고 lm-evaluation-harness 0.4.12, HELM 0.5.16, Inspect AI를 비교합니다. 작은 모델 하나를 처음부터 끝까지 돌리는 명령어와 태스크 정의를 직접 고쳐 보는 예시를 넣었고, 마지막에 결과를 재현하려면 무엇을 반드시 기록해야 하는지 목록으로 정리했습니다.
  • Published on
    설득을 배우는 사람 대부분이 건너뛰는 부분이 반론입니다. 상대의 논거를 상대보다 잘 정리해 소리 내어 확인하는 절차로서의 스틸맨, 가장 강한 반론을 내가 먼저 꺼내는 것이 왜 신뢰를 깎지 않고 올리는지, 사실 이견과 가치 이견과 지위 이견을 어떻게 구별하고 각각 무엇으로 대응해야 하는지를 정리했습니다. 논쟁 중간에 내가 틀렸다는 것을 알았을 때의 처리, 그리고 널리 인용되지만 대규모 재현에서 크게 축소된 역효과 이론도 효과 크기와 함께 다룹니다. 마지막에는 실제로 온도를 낮추는 문장들을 모았습니다.
  • Published on
    설득은 표현을 다듬기 한참 전에 구조에서 먼저 실패합니다. 주장보다 공유 전제를 먼저 세우는 일, 가장 강한 근거를 주의가 가장 높은 지점에 두는 일, 요구를 승낙할 수 있는 크기로 줄이는 일, 그리고 사람은 설득당하기를 거부한다는 비대칭까지 네 개의 축으로 정리했습니다. 정교화 가능성 모델과 접종 이론은 증거의 무게가 서로 다르다는 점, 문간에 발 들여놓기나 자아 고갈처럼 널리 인용되지만 재현이 약한 발견은 무엇인지도 효과 크기와 함께 밝혔습니다. 마지막에는 CI 개선을 제안하는 실제 형태의 메시지를 전후로 다시 씁니다.
  • Published on
    설계 문서, RFC, 제안서, 장애 후속 권고를 쓰는 사람을 위한 글입니다. 자신이 문제를 푼 순서가 아니라 원하는 결정을 맨 앞에 두는 법, 기각한 대안을 드러내는 것이 왜 제안과 광고를 가르는 유일한 표지인지, 아무것도 하지 않을 때의 비용을 어떻게 숫자로 만드는지, 훑어 읽는 결정자를 어떻게 상대하는지를 정리했습니다. 그리고 가장 중요한 것, 내가 없는 회의에서 인용될 문단을 어떻게 쓰는지를 다룹니다. 약한 제안 문단 하나를 실제로 다시 쓰고 문서에서 작동하는 수를 표로 모았습니다.
  • Published on
    2025년부터 2026년 상반기까지 미국 영화와 시리즈 중 실제로 화제가 되었던 17편을 정리했습니다. 제98회 아카데미 작품상을 받은 원 배틀 애프터 어나더, 오스카 역사상 최다인 16개 부문 후보에 오른 시너스, 넷플릭스 역대 최다 시청 영화가 된 케이팝 데몬 헌터스, 그리고 에미상을 휩쓴 더 핏과 더 스튜디오까지 다룹니다. 각 작품의 감독과 주연, 확인된 시청 경로, 누가 좋아하고 누가 싫어할지를 함께 적었습니다.
  • Published on
    2025년부터 2026년 상반기까지 중화권 영화와 드라마 중 실제로 화제가 되었던 17편을 본토, 홍콩, 대만으로 나눠 정리했습니다. 전 세계 애니메이션 흥행 1위가 된 나타지마동뇨해, 금마장 최우수 극영화상을 받은 대만 영화 대몽, 홍콩금상장 작품상을 받은 재견UFO, 그리고 조우번 방언으로 만들어 더우반 9점을 받은 아마에게 보내는 편지까지 다룹니다. 각 작품의 출신지와 감독, 확인된 시청 경로를 함께 적었습니다.
  • Published on
    2025년부터 2026년 상반기까지 일본 영화, 드라마, 애니메이션 중 실제로 화제가 되었던 18편을 정리했습니다. 일본 역대 흥행 1위를 갈아치운 극장판 귀멸의 칼날 무한성편, 실사 영화 역대 1위가 된 국보, 로카르노 황금표범상을 받은 여행과 나날, 그리고 25년 만에 칸 경쟁 부문에 세 편이 동시에 오른 2026년까지 다룹니다. 각 작품의 감독과 제작사, 확인된 시청 경로, 누가 좋아하고 누가 싫어할지를 함께 적었습니다.
  • Published on
    2025년부터 2026년 상반기까지 한국 영화와 드라마 중 실제로 화제가 되었던 18편을 정리했습니다. 1691만 관객을 모은 왕과 사는 남자, 베니스에서 공개된 박찬욱의 어쩔수가없다, 넷플릭스 글로벌 1위를 기록한 폭싹 속았수다와 참교육까지 다룹니다. 각 작품의 감독과 주연, 공개 플랫폼, 그리고 누가 좋아하고 누가 싫어할지를 한 줄로 정리했습니다. 결말은 밝히지 않고 전제만 소개합니다.