Skip to content
Published on

ハーネスエンジニアとして成長する — なぜ生まれた職務で、何を練習すべきか

シェア
Authors

求人票になくても、すでに存在する職務

ハーネスエンジニアという肩書きの求人票はまだ珍しいものです。しかしエージェントをデプロイするチームなら、その仕事はすでに存在します。誰かがツールスキーマを磨き、誰かが再試行上限を決め、誰かが採点スクリプトを管理しています。たいていはAIエンジニア、プラットフォームエンジニア、バックエンドエンジニアという肩書きの下で、です。この連載が第1回から第7回まで扱ってきたのは、その散らばった仕事が実はひとつの工学だということでした。この最終回は、その工学を職業能力の観点から見直します。

なぜこの職務が生まれたのか

構造的な理由は、第1回で見た前提そのままです。ほとんどのチームにとってモデルは固定入力であり、手を入れられるのはハーネスの全部です。そしてハーネス側の改善余地はおおむねプロンプトの文言より大きいので、その余地を専門に受け持つ能力に名前が付き始めたのです。

Lilian Wengのハーネスの記事は、この移動を進化の段階として描きます。指示プロンプトから構造化されたコンテキストへ、ワークフローへ、ハーネスのコードへ、そしてハーネスを直すオプティマイザのコードへ。段階が上がるほど、自然言語で指示していたものがコードで定義するものに変わります。この方向が正しければ、この職務の中心技能は文章術ではなくシステム設計の側へ移り続けます。

必要な能力は新しくありません

良い知らせは、必要な能力の大部分が既存のソフトウェア工学の再配置だということです。インターフェース設計の感覚はツール表面の設計へ、失敗処理の設計は失敗の返し方へ、バージョン管理と観測の習慣はハーネス指紋へ、最小権限の原則は評価の無欠性の装置へ移っていきます。そこに2つが加わります。ひとつは評価リテラシーです。ルーブリックを書き、審査者と人間の判定の一致率を測り、指標の死角を読む能力。もうひとつは正確な散文です。ツール説明の1行が挙動を変える世界では、短く曖昧さのない文を書く能力は飾りではなく、インターフェースの品質です。

6つの筋肉:ティア別の練習地図

このブログのハーネスエンジニアリングRPGは、27のシナリオを6つのティアに分けています。各ティアが鍛える筋肉を連載の記事と組み合わせると、練習の地図になります。

ティア鍛える筋肉併せて読む記事
1. 観測と指紋変更を記録し再現する習慣第1回第7回
2. 境界を引く事件の主がモデルかハーネスかを分ける判断第1回
3. ループ設計再試行上限、停止条件、エスカレーション第4回
4. コンテキスト予算入れるより外す、プレイブックとドロップポリシー第2回第3回
5. 評価者のボトルネック採点の上限を意識し、はしごを登る感覚第5回
6. 自己改善ループ指標と課題の割れ目、リワードハッキングに気づく目第6回

順序には意図があります。観測なしにループをいじれば何が良くなったのか言えず、評価者なしに自己改善を回せばノイズを採用することになります。ゲームのティアのロックは、その順序を強制する装置です。

練習を運用へ移す

ゲームで体に付けた感覚は、実際のシステムひとつに移して初めて完成します。おすすめの経路は小さく始めることです。Anthropicのエージェント構築ガイドが勧めるとおり、いちばん単純な構成から出発し、いま運用している自動化をひとつ選んで4つの段階を踏んでみてください。ハーネスの境界を引いて構成要素の一覧を書く。その一覧から指紋を作って評価結果に残す。採点基準をルーブリックとして文書化する。牽制指標をひとつ、警報として付ける。この4段階は連載の第1回、第7回、第5回、第6回の要約であり、どのチームでも1週間以内に始められる大きさです。

人間の役割は減りません

この職務の見通しについて、ひとつ言い添えておきます。ハーネスが自分自身を直す自己改善ループが標準になっても、人間の役割は消える側ではなく移動する側です。Wengの記事も難問リストの最後で、人間の監督はむしろ増えるべきだと書いています。何を測るかを決めること、牽制指標の警報を読み解くこと、採用された変更の標本をレビューすること。これらはループの外にあるべき仕事で、そこがまさにハーネスエンジニアの席です。ループが速くなるほど、その席の重みは増します。

実際に練習する

いま始めるなら順序はこうです。ハーネスエンジニアリングRPGのティア1から6つのティアを順に登り、各デブリーフィングを読み、詰まるティアが出たら上の表の対になる記事へ戻ってきてください。プロンプト側の基礎が弱いと感じたら、プロンプトエンジニアリング練習ツールを並行すればよいでしょう。

参考資料