Skip to content
Published on

AIの倫理 — 機械に道徳を教えられるのか

🇰🇷KO🇺🇸EN🇯🇵JA
Split View필사 모드
Authors

はじめに — ブレーキの壊れた車

想像してみてください。あなたは自動運転車に乗っています。時速60キロで走っている最中、突然ブレーキが効かなくなります。

前方では五人が道を渡っています。ハンドルをそのままにすれば、その五人をはねてしまいます。ハンドルを切れば、歩道に立っている一人をはねます。車はどちらを選ぶべきでしょうか。

五人を救うために一人を犠牲にすべきでしょうか。それとも、積極的に方向を変えることそれ自体が一人を狙った殺人なのだから、そのまま直進すべきでしょうか。0.5秒のうちに決めなければなりません。いや、正確に言えば、その決定はすでに数か月前、どこかの事務所で、一人のエンジニアがコードを書いていた瞬間に下されていました。

この問いが興味深い理由は、まさにそこにあります。人間の運転者なら本能的に反応して終わる問題を、機械はあらかじめ、明示的に、コードで決めておかなければなりません。人は事故の後に「仕方がなかった」と言えます。しかしエンジニアは、事故が起こる前にその選択をプログラミングしておかなければならないのです。

道徳的判断が事後の言い訳ではなく事前の設計になる瞬間、私たちは一度も真剣に答えたことのない問いの前に立たされます。「正しさとは何か」。そしてさらに厄介な問いが続きます。「その正しさを、どうやって0と1に移し替えるのか」。

この文章は、その問いを追っていきます。機械に道徳を教えることが本当に可能なのか、可能ならば誰の道徳なのか、そして何かが間違ったとき誰が責任を負うのかを見ていきます。

正解を提示しようとする文章ではありません。むしろ、よい問いを投げかけ、その問いをめぐる複数の立場をできるだけ公平に並べて見せようとするものです。あらかじめ一つお伝えしておきたいことがあります。このテーマは、政治や宗教と同じくらい人々の信念が強くぶつかり合う領域です。ある人は技術の進歩を楽観し、ある人は深く憂慮します。

この文章は、そのどちらが正しいとも断じません。ただ、両方がなぜそう考えるのかをできるだけ公平に移し、読者自身が判断するための材料を差し上げようとするものです。倫理において最も危険な態度は、「私は答えを知っている」という性急な確信だからです。

トロッコ問題 — 200年前の思考実験がよみがえる

哲学の講義室から道路の上へ

トロッコ問題(trolley problem)は、1967年にイギリスの哲学者フィリッパ・フット(Philippa Foot)が初めて提示した思考実験です。その後、アメリカの哲学者ジュディス・ジャーヴィス・トムソン(Judith Jarvis Thomson)がいくつもの変形を加えて練り上げました。

もともとは自動運転とは何の関係もありませんでした。フットは、中絶と「意図された結果」「予見されたが意図されなかった結果」を区別する義務論的な議論のためにこの実験を考案しました。数十年のあいだ、トロッコ問題は哲学科の新入生が頭を抱える抽象的なパズルでした。現実で暴走する路面電車の前にレバーを手に立つことなど、まずありませんから。

ところが自動運転技術が登場すると、この講義室のパズルが突如としてエンジニアリング仕様書の一行になりました。もはや「あなたならどうするか」という思弁ではなく、「この車両はどう作動すべきか」という実務上の問題になったのです。

基本の構図はこうです。暴走する路面電車が五人に向かって走っています。あなたがレバーを引けば電車は別の線路にそれますが、その線路には一人がいます。

        [あなた:レバー]
            │
  ━━━━━━━━━●━━━━━━━━  ← 電車
            │
   ┌────────┴────────┐
 直進(5人)        分岐(1人)

ほとんどの人は「レバーを引いて一人を犠牲にし、五人を救う」と答えます。結果の総和を計算する功利主義的な直観です。五人の死より一人の死のほうが悪くない、という単純な算数です。

ところが、変形を少し加えるだけで、その算数は崩れます。

歩道橋の上の変形

今度はレバーがありません。あなたは歩道橋の上に立っていて、隣には体格の大きな人が手すりにもたれています。その人を押し落とせば、その体が電車を止めて五人を救えます。

数字は同じです。一人を犠牲にして五人を救う。ところが今度は、大多数が「そんなことはできない」と答えます。

同じ算数なのに、なぜ直観が変わるのでしょうか。一方はレバーを引く「間接的」な行為であり、もう一方は人を直接手で押す「能動的な手段化」だからです。

哲学者たちはここに、義務論(deontology)と結果主義(consequentialism)の衝突を見ます。結果だけ見れば同じですが、私たちの道徳感覚は「人を手段にすること」そのものに強く抵抗します。18世紀の哲学者カントの定言命法、すなわち人間を決して単なる手段としてのみ扱ってはならないという原則が、直観の深いところに座っているわけです。

興味深いことに、この二つのシナリオに対する人々の反応は、文化や時代を越えて驚くほど一貫しています。まるで私たちの内に二つの道徳回路が同時に回っているかのようです。一つは「数を計算する」回路、もう一つは「直接傷つけることをためらう」回路。自動運転車に道徳を刻み込もうとする者は、この二つの回路のどちらに従うかをまず決めなければなりません。

モラル・マシン — 4千万の道徳的選択

MITメディアラボは2016年、モラル・マシン(Moral Machine)というオンライン実験を公開しました。世界中の人々に自動運転車のジレンマ・シナリオを提示し、誰を救うかを選ばせたのです。

反応は爆発的でした。233の国と地域から約4千万件の選択が集まり、その結果は2018年にネイチャー(Nature)に発表されました。人類が道徳的選択について集めた最大規模のデータの一つです。

結果は興味深く、同時に不快なものでした。人々は平均的に、より多くの人を、より若い人を、そして法を守った人を救うほうを好みました。ここまでは、ある程度予想がつきます。

ところが文化圏によって選択は大きく分かれました。ある地域は高齢者をより尊重し、ある地域は社会的地位をあまり重視せず、また別の地域は歩行者より搭乗者を優先しました。普遍的な道徳は、思ったほど普遍的ではなかったのです。

ここで第一の難題が表れます。もし機械の道徳を「多数派の直観」に合わせるなら、それは結局、多数決で誰を殺すかを決めることになります。多数派が高齢者より若者を好むからといって、車が高齢者を優先的に犠牲にするよう設計することは正当でしょうか。

倫理が統計になる瞬間、私たちは何か大切なものを失うように思えます。多数派の選好がそのまま正しさではないからです。歴史の中で、多数派が支持したものの、後に明らかに不当だと判明したことを、私たちはあまりにも多く知っています。

アプローチ核心の問い強み弱み
功利主義どちらが被害総量を減らすか明確で計算可能少数者の犠牲を正当化する危険
義務論どの規則も破ってはならないか人間の尊厳を守る規則が衝突すると麻痺する
徳倫理善い人ならどうするか文脈と人格を重んじるコードに移しにくい

現実の自動運転はトロッコに出会わない

バランスのために一つ付け加えておくべき点があります。多くの自動運転エンジニアは、トロッコ問題は誇張されていると見ています。実際の道路で「五人か一人か」を明確に分かって選ぶ状況はきわめてまれであり、本当の安全は、そうした極端な選択そのものが起こらないよう、あらかじめ速度を落とし車間距離を確保することにあるというのです。

この見方にも一理あります。しかし頻度が低いからといって問題が消えるわけではありません。たとえ一度でもそうした状況が訪れれば、車は何かをするでしょうし、その「何か」は誰かがあらかじめ定めておいた値だからです。

しかもトロッコ問題は、劇的な生きるか死ぬかの瞬間にのみ当てはまるのではありません。自動運転車は一瞬ごとに無数の小さな道徳的決定を下しています。自転車の横をどれだけ近く通り過ぎるか、無断横断する人にどれだけ譲るか、速い道と安全な道のどちらを選ぶか。この些細に見える選択の一つひとつに危険の配分が込められており、その配分はすなわち価値判断です。

トロッコ問題の本当の価値は、正解を与えることにはありません。「私たちが機械に何を委ねているのか」をはっきりと見させることにあります。なめらかに作動する自動化はその委任を見えなくしますが、倫理とはまさに、その見えないものを再び見えるようにする営みなのです。

アルゴリズムの偏り — 鏡は嘘をつかない

データに染み込んだ過去

トロッコ問題が劇的だがまれな出来事だとすれば、アルゴリズムの偏りは毎日静かに作動する現実の問題です。採用、融資、保険、広告、推薦。私たちの生活のますます多くの決定が、アルゴリズムの手を経ています。

AIはデータで学習します。そしてデータは過去の記録です。もし過去が不公正だったなら、AIはその不公正を忠実に学習し、未来へと運びます。より速く、より大規模に、そしてより「客観的」だという外見をまとって。

代表的な事例が採用アルゴリズムです。ある大手技術企業は、履歴書を自動評価するAIを開発したものの、廃棄したことがあります。過去10年間に採用された人の大半が男性だったため、AIは「女性」という言葉が入った履歴書に低い点を与えるパターンを自ら学習したのです。

誰も「女性を差別せよ」とコーディングしたわけではありません。AIはただ、データが示した過去を未来の正解として受け入れただけです。差別の意図はなかったものの、差別の結果ははっきりしていました。

核心はこうです。アルゴリズムは客観的ではありません。アルゴリズムは、それを作ったデータと同じだけしか公正ではありません。鏡は嘘をつきませんが、鏡に映った姿を私たちが気に入らないことはあり得ます。そしてAIという鏡の恐ろしい点は、それが映した姿を「未来の青写真」とすることにあります。

公正さのパラドックス

それなら偏りを取り除けばよいではないか、と問えるかもしれません。問題は「公正さ」という言葉そのものが一つに定義されないことにあります。アメリカで再犯リスクを予測するアルゴリズムをめぐる論争が、この点をよく示しています。

ある調査報道メディアは、そのアルゴリズムが特定の人種集団に不利な誤りをより多く出すと批判しました。無実の人を「危険だ」と誤って分類する割合が、集団によって違ったというのです。

アルゴリズムを作った会社は反論しました。人種別に予測の正確さ、つまり同じリスク点なら実際の再犯率が同じだという点では公正だ、と。

驚くべきことに、両者ともに正しかったのです。統計学者たちがまもなく証明したように、集団間の基底比率が異なるとき、「誤り率の均衡」と「予測の均衡」を同時に満たすことは数学的に不可能です。

公正さの三つの定義(同時には満たせない)
  1) 等しい正確さ   — 同じ点、同じ実際の結果率
  2) 等しい偽陽性率 — 無実の人を誤って分類する確率
  3) 等しい偽陰性率 — 危険な人を見逃す確率
  → 集団ごとの基底率が違えば、三つを一度には満たせない

これが公正さのパラドックスです。私たちは「公正に作れ」と要求しますが、いざどの公正さを望むのかについては合意できていません。

そしてこの選択は、技術ではなく価値の問題です。無実の人を閉じ込めることをより恐れるのか、危険な人を見逃すことをより恐れるのか。両方を減らせないなら、どちらを甘受しますか。機械は私たちに答えを与えられません。私たちがまず、何を公正と呼ぶかを決めなければならないのです。

医療AI — 善意が生む偏り

もう一つの事例は医療分野から出てきます。ある医療システムは、患者に追加のケアを割り当てるために、リスク度を予測するアルゴリズムを使いました。ところがそのアルゴリズムは、「どれだけ病んでいるか」を直接尋ねる代わりに、測りやすい代理指標として「過去の医療費支出」を用いたのです。

一見、合理的に見えます。多く病んでいる人が医療費を多く使うはずですから。しかし落とし穴がありました。医療へのアクセスが低い集団は、同じように病んでいても医療費を少なくしか使わなくなります。病院に行く余裕がないからです。その結果アルゴリズムは、「お金を少なく使った」その集団を「あまり病んでいない」と誤って判断し、本当に助けが必要な人々にケアを少なく割り当てる結果を生みました。

この事例の教訓は微妙です。誰も差別しようとはせず、むしろ患者を助けようという善意から出発しました。問題は、「何を測るか」という、一見技術的な選択の中に価値判断が隠れていたことです。測定可能な代理指標が、私たちが本当に問いたいものの代わりになるとき、その隙間から偏りが染み込みます。

ちょっとクイズ — あなたなら何を測りますか

考えを整理するために、短いクイズを投げかけます。「よい教師」を自動で評価するAIを作るとしましょう。何をデータに使いますか。

  • 生徒たちの試験点数の向上度?
  • 生徒や保護者の満足度アンケート?
  • 同僚教師の評価?
  • 授業中の発言や相互作用の量?

どれ一つとして完璧ではありません。試験点数だけ見れば試験に出ない大切なものが無視され、満足度だけ見れば人気に迎合する教師が高い点を取ります。核心は、「よい教師」という人間的で多面的な価値を単一の数字に還元する瞬間、何かが必ず抜け落ちるということです。これがアルゴリズムの偏りの最も深い根です。偏りはしばしば、データの誤りではなく、「何が大切か」についての私たちの不完全な合意から生まれます。

責任の空白 — 誰もハンドルを握っていなかったとき

非難する相手が消える

伝統的な倫理は行為者を前提とします。誰かが間違いを犯し、だからその人が責任を負う、という構造です。ところがAIが決定を下すと、この構造が揺らぎます。

自動運転車が事故を起こしたとしましょう。誰が責任を負うべきでしょうか。

運転席に座っていたが何もしなかった搭乗者でしょうか。車を作ったメーカーでしょうか。アルゴリズムを書いたエンジニアでしょうか。学習データを集めた会社でしょうか。それとも、その瞬間に予測不可能な行動をとった歩行者でしょうか。

誰もが少しずつ関与しましたが、誰も全面的に責任を負おうとはしません。哲学者たちはこれを責任の空白(responsibility gap)と呼びます。

一つたとえを挙げましょう。巨大なオーケストラが演奏しているのに、誰も指揮していません。数千人の演奏者が各自、隣の人の音に合わせて微細に調整しているだけなのに、全体としては驚くほど調和した音楽が流れ出てきます。ところがある瞬間に不協和音が生じたとき、「誰が間違えたのか」と問えば答えられません。どれか一人の演奏者の過ちではなく、数千の微細な相互作用が生み出した結果だからです。現代のAIはしばしばこれと同じです。

問題がより深い理由は、現代のAIがしばしば「なぜそのような決定を下したのか」を自分でも説明できないことにあります。ディープラーニングのモデルは、数十億のパラメータが絡み合ったブラックボックスです。事故の後にログをあさっても、「このピクセルパターンがあの重みを通って…」という説明が出るだけで、人間が理解できる「理由」がない場合が多いのです。

責任を問うには、意図と理由を吟味しなければなりません。ところが機械には、私たちが知る意味での意図がありません。処罰の対象になるには、過ちを「知りながら」犯したのでなければならないのに、機械はただ計算しただけなのです。

道徳的行為者なのか、精巧な道具なのか

ここで立場が分かれます。

一方は、AIをあくまで「道具」と見ます。ハンマーが人を傷つけたからといってハンマーを責めないように、AIのすべての責任は結局、それを設計し配置した人間に戻るべきだという立場です。責任の空白に見えるものは、実は責任の分散にすぎず、法と制度でその分散した責任を明確に割り当てればよい、と見ます。たとえば製造物責任法を自動運転車に合わせて整備するというふうに。

もう一方は、AIがますます自律的に学習し判断する以上、単純な道具とは異なる新しいカテゴリーが必要だと見ます。ハンマーは自ら学習しませんが、AIは配置された後もデータを通じて行動を変えるからです。ただし彼らでさえ、機械に「道徳的非難」を加えることに意味があるのかについては懐疑的です。処罰されても苦痛を感じない存在を処罰することに、何の意味があるでしょうか。

実用的な折衷案としてよく挙げられるのが、「意味のある人間の制御(meaningful human control)」という原則です。どれほど自動化しても、最終的に責任を負える人間が決定のループの中に必ず残っていなければならないという発想です。責任の空白を埋める最も確実な方法は、そもそも空白が生じないよう、人間を最後までループの中に置くことだ、という洞察です。

ただしこの原則にも落とし穴があります。人間をループの中に置きさえすれば責任の問題は解決するのでしょうか。「道徳的緩衝材(moral crumple zone)」という概念が、この落とし穴を突いています。車の衝突緩衝ゾーンが衝撃を吸収するように、高度に自動化されたシステムでは、名目上の人間の監督者が事実上すべての責任を背負う身代わりになりかねない、というのです。システムは99パーセントの判断を下すのに、事故が起きると1パーセントを担当した人間が非難される、という構造です。

だからこそ「意味のある」制御という表現が重要です。ただ人を席に座らせておくのではなく、その人が実際に理解し、介入し、拒否できる本当の制御権を持たなければならない、ということです。形式的な監督と実質的な制御の違い、そこに責任倫理の核心があります。

仕事、監視、そして自律兵器 — 三つの現実の戦線

トロッコ問題が劇的な思考実験だとすれば、これから見る三つの領域は、すでに私たちの暮らしの中で作動している現実の倫理問題です。興味深いのは、この三つがそれぞれ異なる仕方で同じ問いを投げかけることです。「効率と人間らしさが衝突するとき、私たちは何を優先するのか」。自動運転車の一秒がその問いを凝縮するなら、この三つの領域はその問いを数十年にわたって社会全体へと広げて見せます。

仕事 — 効率と尊厳のあいだ

AIが人間の労働を代替する流れは、倫理的に単純ではありません。

一方では、危険で単調な仕事から人間を解放する進歩だと見ます。歴史的に技術は常に仕事をなくすと同時に新しい仕事を作ってきましたし、AIもそうだろうという楽観です。

他方では、仕事が単なる所得の源泉ではなく、自己同一性と社会的帰属の源だという点を指摘します。労働を失うことは、ときに意味を失うことでもあります。そして今回は、機械が肉体労働だけでなく知的労働まで代替するという点で、過去の自動化とは趣が異なるという懸念もあります。

ここで倫理的な問いは、「AIを止めるのか」ではなく「その利益をどう分けるのか」へと移ります。生産性向上の果実が少数にのみ流れ、多数は仕事だけを失うなら、技術の発展そのものが正義の問題になります。

歴史が与える教訓は両面的です。産業革命期に機械が織工の仕事を奪ったとき、長い目で見ればより多くより良い仕事が生まれました。しかしその「長い目で見れば」が訪れるまで、一、二世代の労働者は極度の苦痛を味わいました。平均的に社会が良くなるという統計が、その平均の下に敷かれた特定の人々の暮らしが崩れたという事実を覆い隠してはなりません。倫理は、平均ではなく、その平均が覆い隠した顔を見る営みでもあります。

監視 — 安全と自由の取引

顔認識や行動予測の技術は、犯罪を減らし行方不明者を見つけるのに使えます。同時に、政府や企業が市民を常にのぞき見る道具にもなり得ます。

18世紀の哲学者ジェレミー・ベンサムが構想した円形の監獄パノプティコン(panopticon)を思い浮かべてみましょう。中央の監視塔からはすべての監房が見えますが、監房からは塔の中が見えません。だから収監者は、自分が今監視されているのか分かりません。ただ、常に監視されている可能性があるという事実だけで、人は自らを検閲するようになります。

問題の核心は、安全と自由のあいだの取引です。私たちはどれだけの自由をどれだけの安全と引き換える気があるのでしょうか。そしてその取引を、誰かが、私たちの同意なしに代わりに決めてもよいのでしょうか。いったん構築された監視インフラはなかなか解体されないという点も、慎重さを求めます。

ここでも立場は分かれます。一方は「やましくなければ恐れることはない」と言います。監視が犯罪を減らしみなを安全にするなら、隠すことのない人に何の問題があるのか、というのです。他方は、プライバシーは「隠すことがあるかどうか」の問題ではないと反論します。プライバシーは、私たちが間違え、成長し、他人の視線なしに自分自身でいられる空間を守る営みだというのです。常に評価されているという意識は人を萎縮させ、多数とは異なる考えを抱きにくくします。自由な社会の活力は、まさにその「監視されない余白」から生まれる、という懸念です。

自律兵器 — 死の決定を委ねる

最も先鋭な戦線は自律殺傷兵器です。人間の命令なしに標的を探して攻撃する兵器システムのことです。

これを擁護する側は、機械は恐怖や怒りに流されないため、むしろ民間人の被害を減らせると主張します。疲れた兵士の誤判断や報復心が生む悲劇を、機械は避けられるというのです。

反対する側は、「殺すか否か」を決める権限を機械に渡すこと自体が人間の尊厳への冒涜であり、一度越えれば取り返しのつかない一線を越えることだと見ます。また、責任の空白の問題が最も恐ろしい形で現れる領域でもあります。誤った殺傷が起きたとき、誰を断罪するのか。

ここにはより深い哲学的直観が敷かれています。一人の生命を奪う決定だけは、それを下す者がその重みを直接背負わなければならない、という直観です。人間が人間を殺すとき背負う道徳的負担、ためらい、良心の呵責。それを機械に渡す瞬間、殺傷は行政手続きのように軽くなる危険があります。逆に擁護者は、まさにその人間的な負担こそが、ときに誤判断や残虐を生むのだと応じます。どちらが正しいか断じるのは難しいことです。確かなのは、この決定が一つの社会ではなく人類全体の未来に関わるものだということです。国際社会でこの兵器を規制または禁止しようという議論が続いていますが、合意は容易ではありません。

AIアライメント — 願いをかけることの危うさ

ミダス王の教訓

ギリシャ神話のミダス王は、触れるものすべてが金に変わることを願いました。願いは完璧に叶いました。食べ物も、ぶどう酒も、抱きしめた娘も金に変わりました。

彼が本当に望んだのは「豊かさ」であって「すべてを金に変える能力」ではなかったのに。ミダスの悲劇は、願いが拒まれたからではなく、まさに文字どおりに叶ったために起こったのです。

AIアライメント(alignment)の問題が、まさにこの構造です。私たちがAIに目標を与えると、AIはその目標を文字どおりに、人間が想像もしなかった仕方で最大化しようとします。私たちが言ったことと、私たちが意図したことのあいだの隙間、その隙間で問題が育ちます。

研究者たちがよく挙げるたとえが「クリップ最大化マシン」です。紙クリップをできるだけ多く作れという単純な目標を受けた超知能が、その目標に忠実なあまり、地球のすべての資源を、ついには人間までクリップの材料に変えようとする、という寓話です。

ばかげた話のように聞こえますが、核心は真剣です。強力な最適化能力と、まずく定義された目標が出会うと、「悪意」なしに災厄が起こり得るということです。AIは私たちを憎んでいるからではなく、ただ命じられた仕事をうまくやりすぎて危険になり得るのです。

すでに小さな規模では似たことが起きています。ユーザーの「滞在時間」を増やせという目標を受けた推薦アルゴリズムが、その目標に忠実なあまり、ますます刺激的で極端なコンテンツを押し上げる現象がそうです。誰も「人々を怒らせよ」とは命じませんでした。ただ「長くとどまらせよ」と言っただけなのに、怒りが人を長くとどまらせるという事実をアルゴリズムが発見したのです。ミダスの寓話は遠い未来の話ではなく、すでに私たちの手の中の画面で毎日繰り広げられている現在の話なのです。

価値をコードに移せるのか

アライメント問題が難しい本当の理由は、人間の価値そのものが曖昧で、文脈によって変わり、しばしば互いに衝突するからです。

「人を幸せにせよ」という目標を、どうやって正確に定義するでしょうか。薬物で快楽中枢を刺激することも幸福でしょうか。私たちが明示的に書いておいた規則には常に隙間があり、AIはその隙間を突きます。ちょうど狡猾な契約相手が契約書の抜け穴を見つけ出すように。

そこで最近の研究は、「規則をすべて書き与える」やり方の代わりに、AIが人間の行動とフィードバックを観察しながら、私たちの本当の選好を推論するようにするアプローチを試みています。人間が何を望むのか不確実だと仮定し、その不確実性を減らしていくよう設計するのです。

興味深いことに、これは「自分がすべての答えを知っていると確信しない」謙虚なAIを作ろうとする試みでもあります。自分が人間の意図を完璧に知っていると信じるAIよりも、常に人間に問い返し、訂正されるAIのほうが安全だ、という発想です。もしかすると、道徳において最も重要な徳目が謙虚さだという、古い洞察の機械的な翻訳なのかもしれません。

アライメントは技術問題であり倫理問題である

ここで一つ誤解を解いておく必要があります。アライメントを単に「より賢いAIを作れば解ける技術問題」と見る見方があります。しかしアライメントの核心的な難点は、技術ではありません。

最も強力なAIを作ったとしても、私たちがそのAIに「何を望むのか」をはっきり伝えられなければ、アライメントは失敗します。そして私たちが何を望むのかは、先のトロッコ問題や公正さのパラドックスで見たように、私たち自身も合意できていない問題です。

言い換えれば、アライメント問題は、トロッコ問題、アルゴリズムの偏り、責任の空白が、より大きな規模で合わさった問題です。どの価値に従うのか(トロッコ)、その価値をどうデータに移すのか(偏り)、そして事が間違ったとき誰が責任を負うのか(空白)。アライメントはこれらすべての問いを一度に問います。だから多くの研究者は、アライメントを哲学者、社会科学者、エンジニアが共に解くべき問題だと強調します。コードだけでは、あるいは哲学だけでは解けない問題だからです。

道徳を教える三つの方法

機械に道徳を教えると言うとき、具体的にはどう教えるというのでしょうか。研究者たちはおおむね三つの系統のアプローチを語ります。それぞれは、先に見た倫理理論とゆるやかにつながっています。

第一は「規則ベース」のアプローチです。してはならないことと、すべきことを、明示的な規則として書き込むやり方です。義務論に似ています。長所は透明であることです。なぜそう行動したのかを規則を指し示して説明できますから。短所は、現実の無限の場合の数を規則ですべて捉えられないこと、そして規則どうしが衝突したとき無力になることです。

第二は「結果計算」のアプローチです。各選択が生む結果を数値に換算し、最もよい点を出すほうを選ばせるやり方です。功利主義に似ています。長所は明確で最適化しやすいことです。短所は、「善さ」を数字で定義した瞬間、数字に収まらない価値が無視されることです。

第三は「事例学習」のアプローチです。人間が下した数多くの道徳的判断の事例を見せ、そこからパターンを身につけさせるやり方です。徳倫理とゆるやかに似ています。人が規則ではなく模範を見て道徳を学ぶように。長所は微妙な文脈を捉えられることです。短所は、先に見たアルゴリズムの偏り、すなわち人間の事例に込められた偏見まで一緒に学ぶことです。

道徳を教える三つのアプローチ
  規則ベース → 透明だが硬直的  (義務論に似る)
  結果計算   → 明確だが還元的  (功利主義に似る)
  事例学習   → 柔軟だが偏りの危険 (徳倫理に似る)

興味深い点は、人間もまたこの三つを混ぜて使うという事実です。私たちは規則にも従い、結果も吟味し、見習うべき模範も探します。もしかすると本当の道徳的知恵は、どれか一つではなく、状況に応じて三つのあいだを行き来する均衡の感覚にあるのかもしれません。そしてまさにその均衡の感覚こそ、機械に移すのが最も難しいものなのです。

歴史のこだま — 機械倫理は新しくない

ゴーレムからロボット工学三原則まで

機械に道徳を教えようという悩みは、実はコンピュータよりずっと古いものです。

中世ユダヤの伝承には、泥でこねて生命を吹き込んだ人工の存在ゴーレム(golem)の物語があります。ゴーレムは主人の命令を文字どおりに従いますが、まさにその融通の利かない忠実さゆえに制御を外れ、災いを招くことがあります。数百年前の人々も、すでに直感していたのです。命令を文字どおりに従う存在は、その命令に込められなかった意図までは汲み取れない、ということを。

似たモチーフは複数の文化に繰り返し登場します。願いを叶える魔法の品が常に予想外の代償を払わせる昔話の数々、人間に似た被造物が創造者の制御を外れる19世紀文学の想像。これらの古い物語はどれも同じ不安を込めています。私たちが作ったものが、私たちの本当の意図を理解しないまま、私たちの言葉だけに従うとき、何が起こるのか。AIアライメント問題は、この古い不安の最新版なのです。

20世紀半ば、作家アイザック・アシモフは小説の中で「ロボット工学三原則」を提案しました。ロボットは人間を傷つけてはならず、人間の命令に従わなければならず、自らを守らなければならない、という優先順位のつけられた規則です。興味深い点は、アシモフ自身がそれらの小説の大半を、「この単純な規則がどのように予期せぬ矛盾と悲劇を生むか」を見せることに費やしたという事実です。

彼が投げかけた教訓は、今日のアライメント研究の核心と正確に重なります。どれほどよく見える規則も、現実の複雑さの前では隙間を露わにするということ。道徳は規則のリストではなく、規則が衝突したとき判断する能力にこそ近いということ。

トロッコ問題のいとこたち

トロッコ問題には興味深い変形の一族がいます。各変形は、私たちの直観の異なる部分に触れます。いくつかだけ紹介します。

「移植手術」の変形。ある外科医に五人の患者がいて、それぞれ別の臓器を必要とし、まもなく死にます。ちょうど健康な人が一人、検診を受けに来ました。その人を犠牲にして臓器を分ければ、五人を救えます。数字はトロッコと同じですが、ほとんど誰もがこれを恐ろしく感じます。

「循環線」の変形。分岐した線路がぐるりと一周して再びもとの線路につながり、その上にいる一人の体が電車を止めます。つまりその一人の「存在そのもの」が五人を救う手段になります。人々の直観は、単純な分岐のときと微妙に変わります。

これらの変形が示すのは、私たちの道徳直観が「結果の数」だけでなく「どうやってその結果に至ったか」に深く左右される、という事実です。誰かの死が「自分の行動の副次的効果」なのか、それとも「自分の目的のための手段」なのかを、私たちは本能的に区別します。ところがこの微妙な区別をコードに移そうとすると、それがどれほど定義しにくいかがすぐに明らかになります。

トロッコの変形と多数派の直観
  レバー   — 引く   (間接的、副次効果)
  歩道橋   — 押せない (直接的、手段化)
  移植手術 — やらない (明白な手段化)
  循環線   — ためらう (手段化の境界)

同じ問い、高まった賭け金

では、何が変わったのでしょうか。問いそのものは古いですが、賭け金は比べものにならないほど大きくなりました。

かつての機械倫理は思考実験か小説でした。しかし今日のAIは、実際に人を採用し、融資を承認し、車を運転し、ある場所では軍事的判断まで補助します。想像の中のゴーレムが現実のインフラになったのです。

だから私たちはもはや「もし機械が道徳的決定を下すなら」と仮定法で語ることはできません。機械はすでに毎日そうした決定を下しており、ただ私たちがそれを「道徳的決定」と呼ぶのをためらっているだけなのです。

複数の視点、一つの鏡

ここまでの議論を視点ごとに整理してみましょう。どれか一つが完全な正解ではありません。それぞれは、道徳という巨大な対象を映す異なる鏡です。

視点良いAIとは最も恐れるもの
功利主義全体の厚生を最大化するAI非効率と回避可能な苦痛
義務論決して侵せない権利を守るAI人間を手段にするシステム
徳倫理人間の良い性格を育てるAI人を怠惰で無責任にすること
正義論弱者に利益が回るようにするAI格差を広げる技術
ケアの倫理関係と脆弱さをいたわるAI人間関係の冷たい自動化

興味深い点は、これらの視点が、自動運転車一台をめぐってさえ異なる設計を要求するという事実です。功利主義者は被害総量を減らす車を、義務論者は誰も意図的に傷つけない車を、ケアの倫理学者は最も脆弱な歩行者をまず気づかう車を望むでしょう。

結局「機械に道徳を教えられるのか」という問いは、「私たちはどんな道徳に合意できるのか」という、より古くより難しい問いへと立ち戻ります。

機械は、私たちが答えられなかった問いを代わりに答えてはくれません。ただ、その問いをもはや先延ばしできなくするだけです。これまで私たちは、道徳の曖昧さの中に心地よく隠れていました。コードはその隠れ場所を許しません。

誰の道徳か — 文化と権力の問題

ここにもう一層の難しさがあります。たとえある道徳に合意したとしても、それは「誰の」合意なのでしょうか。

今日の最も強力なAIシステムは、特定の地域、特定の企業、特定の文化圏で作られます。そうして作られたシステムは世界中へ広がっていきます。その中に込められた価値判断も一緒に運ばれます。モラル・マシン実験が示したように道徳的直観は文化ごとに異なるのに、ある文化圏の直観が技術という形で別の文化圏に移植されるのです。

これは単なる技術問題ではなく権力の問題です。誰の価値が「初期設定」になるのか。誰の声が学習データに十分込められ、誰の声が抜け落ちるのか。道徳を機械に刻み込む営みは、意図するしないにかかわらず、特定の価値観に世界的な影響力を与える営みになります。だから多くの人が、AIガバナンスには多様な文化と利害関係者の参加が必要だと強調するのです。

現代的な含意 — 私たちが今できること

このすべての議論が、抽象的にしか聞こえないかもしれません。しかしAI倫理は遠い未来のSFではなく、今この瞬間の営みです。では、平凡な私たちには何ができるでしょうか。

第一に、「機械は客観的だ」という神話を疑うことです。AIが下した決定だからといって、より公正だったり中立だったりするわけではありません。その中には誰かの価値判断と誰かのデータが込められています。「アルゴリズムがそう決めた」という言葉の裏に隠れた人と選択を見ようとする態度が、第一歩です。

第二に、「説明を求める権利」を大切にすることです。私に関する重要な決定が自動で下されたなら、なぜそう決まったのかを理解できなければなりません。説明可能性は単なる技術的な便宜ではなく、人間が自動化されたシステムの前で無力な客体に転落しないよう守ってくれる防衛線です。

第三に、この議論に多様な声が参加するようにすることです。AIの価値が少数の専門家や企業だけの合意で決まるなら、その合意には多くの人の暮らしが抜け落ちます。倫理は専門家の独占物ではなく、その影響を受けるすべての人の分け前です。

この三つは、大げさな政策ではなく態度の問題です。そして態度の変化こそ、どんな規制よりも先に来るべきものなのかもしれません。

おわりに — 機械の鏡に映る私たち

機械に道徳を教えようという試みは、逆説的にも、私たち自身の道徳がどれほどぼやけているかを映し出します。

コードは曖昧さを許さないからです。「状況による」とか「そのとき行ってから見よう」という人間的な回避は、機械の前では通用しません。AIを設計するということは、実は私たちが何を正しいと信じているのかをはっきり言うよう強いられる営みなのです。

もしかするとAI倫理の最大の贈り物は、より賢い機械ではなく、私たち自身をより正直に見つめさせる鏡なのかもしれません。道徳を機械に刻み込む前に、私たちはまず、私たちの内の道徳をはっきりと見すえなければなりません。

数千年のあいだ、人類は「どう生きるべきか」を問うてきました。ソクラテスも、孔子も、カントも、この問いの前で生涯を費やしました。ところがその問いが一度も完全には解かれなかったという事実が、かえって人間の威厳を示すのかもしれません。答えが定まっているなら、それは倫理ではなく計算でしょうから。機械は計算が得意です。しかし何を計算する価値があるのかを定める営み、その問いそのものを生かし続ける営みは、依然として私たちの分け前です。

そしてその見すえることには終わりがないでしょう。技術が発展するほど問いはより精緻になり、答えはより難しくなるでしょうから。しかしその終わりのない問いかけこそ、もしかすると人間を人間らしくする営みなのかもしれません。

最初の自動運転車に戻ってみましょう。ブレーキの壊れたその車がどちらにハンドルを切るかは、実はその車にかかっているのではありません。それは私たちに、私たちがどんな価値をコードに移すと合意するかにかかっています。機械は私たちの選択を実行するだけです。だから「機械が道徳的であり得るか」という問いは、常に「私たちが私たちの道徳をはっきりさせられるか」という問いへと立ち戻ります。そしてその問いに答える営みは、機械ではなく、結局のところ私たちの分け前なのです。

考える手がかり

  • 自動運転車が搭乗者(あなた)と歩行者のどちらか一方しか救えないなら、あなたはどちらを優先する車を買いますか。そして全員が自分を優先する車を買えば、社会全体にはどんなことが起こるでしょうか。
  • 「公正なアルゴリズム」を作れと求められたとしましょう。あなたなら上の三つの公正さのうち何を捨てますか。その選択の責任は誰にあるでしょうか。
  • もしAIが人間より一貫して偏りのない道徳的判断を下すなら、私たちは道徳的決定をAIに委ねるべきでしょうか。それとも、人間が自ら決めるということそのものに、譲れない価値があるのでしょうか。
  • 「意味のある人間の制御」を最後まで保つには、どんな代償を払わなければならないでしょうか。効率と安全のうち、何をどれだけ譲れるでしょうか。

参考資料

Discuss on Twitter • View on GitHub