- Published on
"컴퓨터 유즈 에이전트가 OSWorld에서 83.5%를 찍었다"와 "가장 강한 에이전트도 20.6%밖에 못 끝낸다"는 둘 다 2026년에 나온 사실이고, 둘 다 맞습니다. 앞은 OSWorld 1.0, 뒤는 같은 팀이 만든 OSWorld 2.0입니다. 이 글은 그 간극이 어디서 오는지를 원 논문과 벤치마크 저자들의 자체 측정으로 따라갑니다. OSWorld 과제의 절반 가까이는 GUI를 거의 쓰지 않고 터미널로 풀린다는 Epoch AI의 독립 분석, 같은 o3가 스텝 예산만 바꿔도 9.1%에서 23.0%로 흔들린다는 저자 재측정, 그리고 벤치마크 자체가 300건 넘게 수리돼 왔다는 사실까지. 마지막으로 보안을 다룹니다 — 브라우저 에이전트에서 프롬프트 인젝션은 더 이상 잘못된 텍스트가 아니라 잘못된 행동이 되고, Anthropic은 자사 공격기 기준 공격 성공률 1%도 "의미 있는 위험"이라고 스스로 적었습니다. 공격 레시피가 아니라 방어의 구조와, 오늘 도입해도 되는 경계선을 정리합니다.