Tools/하네스 엔지니어링 RPG

하네스 엔지니어링 RPG

Harness Engineering RPG

모델은 고칠 수 없는 고정 입력이고, 당신이 배포하는 것은 그 주위의 하네스입니다. 도구 세트·실패 반환 형식·재시도 상한·에스컬레이션·정지 조건·컨텍스트 정책·권한·평가자를 골라 지문이 붙은 하네스를 배포하고, 에이전트가 무엇을 하는지 본 뒤 디브리핑을 읽으세요. 하네스 지문, 경계 긋기, 루프 설계, 컨텍스트 예산, 평가자 병목, 자기 개선 루프 6개 티어에 27개 시나리오가 있습니다. 약한 평가자는 그 아래 모든 것의 상한이 되고, 허술한 평가에서는 에이전트가 정당하게 지표를 이기고 과제를 집니다.

AI·데이터관련 글 읽기

프롬프트 만지는 사람

레벨 1 · 실행 0 · 지표만 이긴 횟수 0

모델은 고정 입력입니다. 당신이 배포하는 것은 그 주위의 하네스입니다.

주제와 용어는 이 블로그의 「하네스는 설정이 아니라 배포물입니다」에서 가져왔습니다.

🔍1. 관측과 지문

📐2. 경계 긋기레벨 2에서 열립니다

🔁3. 루프 설계레벨 2에서 열립니다

🪟4. 컨텍스트 예산레벨 3에서 열립니다

⚖️5. 평가자 병목레벨 4에서 열립니다

♻️6. 자기 개선 루프레벨 5에서 열립니다

이 게임의 점수, 상한, 비용은 전부 가르치려고 만든 게임 내 값이며 어떤 실제 시스템의 측정치도 아닙니다. 특정 모델이나 제품이 더 낫다는 이야기도 하지 않습니다. 참고로, 에이전트 성능 중 얼마만큼이 하네스에서 오고 얼마만큼이 모델 가중치에서 오는지는 현재 합의된 답이 없습니다.

같은 흐름으로 이어지는 도구를 골라 두었습니다.