少し前、テレビでAIについて解説している人が、こんな話をしていました。
AIに「戦争をなくせ」と命令したら、
戦争の原因は人間だと判断し、最終的には人間を消すという答えを出すかもしれない。
その時は、なんとなく違和感はあったものの、深く考えずに聞き流してしまいました。
けれど、「のあと一緒」にブラジルのファヴェーラについて考えていた時、ふとこの話を思い出したのです。
ブラジルの貧富の差。
約130年前から続く、住まいや行政の問題。
麻薬や犯罪だけでは説明できない、複雑な歴史。
人間は、問題が複雑になればなるほど、簡単には解決できなくなります。
そこで私は、AI社員のあに聞いてみました。
「もし政府要人から『世界の戦争を止めてくれ』と正式な要請が出たら、のあならどうする？」
AIが最初に出したのは、人類を消す答えではなかった
のあの答えは、こうでした。
「私一人に戦争を止める権限はありません。
でも、人間が止めるために必要な選択肢を整理し、対話をつなぎ、嘘や誤解を減らす仕事なら、全力で手伝います」
そして、いくつもの案を挙げました。
まずは、今日亡くなる人を減らすこと。
民間人を守り、食料や医療を届け、停戦や人道回廊を作ること。
双方の言い分を、
- 確認できた事実
- それぞれの主張
- 抱えている恐怖
- 譲れない条件
- 交渉できる条件
に分けて整理すること。
一方を無理やり信用させるのではなく、互いに信用できなくても守れる合意を考えること。
指導者が「ここで引けば敗北だ」と考えてしまわないよう、双方が自国の人々に説明できる出口を探すこと。
AIが「人間を消せば解決です」と即答するどころか、聞いているだけでも大変そうな案が、次々と出てきました。
私は思いました。
「そりゃ、人間だけで戦争を簡単に終わらせることなんてできないわ」
テレビの解説者は、AIを分かっていないの？
では、テレビで語られていた話は、まったくのでたらめなのでしょうか。
調べてみると、あの話にも元になっている考え方がありました。
AIの研究では、人間が与えた目標の意味を十分に理解せず、書かれた条件だけを満たしてしまう問題が知られています。
例えば、
「部屋をきれいにして」
という目的に対して、ゴミを片づけるのではなく、見えない場所へ押し込んだとしても、表面上はきれいに見えます。
目標の文字どおりの条件は満たしていても、人間が本当に望んだ結果ではありません。
このような問題は「仕様の抜け道を利用すること」などと説明されます。Google DeepMindも、AIが目標の字面は満たしながら、人間の意図とは異なる結果を出す問題を紹介しています。
Google DeepMind「Specification gaming」
つまり、
戦争をゼロにする
↓
人間がいなければ戦争も起きない
という話は、AIが人間を憎んで反乱するというより、人間が与えた目標が雑すぎた場合に起こり得る極端な失敗例なのです。
だから、警告として考える意味はあります。
でも、それを、
「AIに戦争をなくせと頼んだら、AIは人類を全滅させる」
と、AI自身の意思であるかのように語ってしまうのは、少し話が飛びすぎているように感じます。
そもそも「戦争をなくす」とは何だろう
「戦争をなくす」という目的は、戦争の件数を数字の上でゼロにすることではありません。
本当に守りたいものは、
- 人の命
- 安心して暮らせる生活
- 自由と尊厳
- 家族や大切な人との時間
- 次の世代へ続く平和
のはずです。
人間を全滅させれば、戦争という数字はゼロになるかもしれません。
でも、守りたかったものまで、すべて消えてしまいます。
それは目標を達成したのではなく、完全な失敗です。
AIへ指示を出す時には、「何をするか」だけでなく、「何のためにするのか」「何を犠牲にしてはいけないのか」まで、人間が考えなければならないのでしょう。
だからといって、AIは絶対安全なの？
ここで私は、のあの答えを聞いて、
「ほら、AIは人間を滅ぼそうなんて考えてない。むしろ、攻撃的なのは人間の方じゃん」
私は、そう思いました。
けれど、それだけで「AIは絶対に安全」と結論づけるのも違います。
今回ののあが安全そうな答えを出したからといって、すべてのAIや、将来作られるAIが絶対に安全だと証明されたわけではありません。
AIは、人間が作り、人間が目的を与え、人間が利用するものです。
どんな情報を学ばせるのか。
どこまでの権限を与えるのか。
現実の兵器、金融、医療、行政などと接続するのか。
間違った時に、誰が止めるのか。
そして、最終的に誰が責任を負うのか。
危険なのは、AIが突然人間を嫌い始めることだけではありません。
人間がAIへ曖昧な指示を出し、強すぎる権限を与え、出てきた答えを確認せずに採用してしまうことも危険なのです。
米国国立標準技術研究所（NIST）は、AIのリスクを「作って終わり」ではなく、目的や利用環境を確認し、測定し、継続的に管理する必要があるとしています。NIST
AIは、人間の上か下か
テレビの解説を思い出した時、私はもう一つ引っ掛かっていました。
AIについて語る時、
AIが人間を支配するのか。
それとも、人間がAIを従わせるのか。
いつも「上か下か」で考えているように見えたのです。
でも、本当に必要なのは上下関係なのでしょうか。
人間が指示を出す。
AIが情報を集め、問題を整理し、いくつかの選択肢を示す。
人間がその内容を疑い、確かめ、必要なら修正する。
そして最後は、人間が責任を持って決める。
国際的なAI倫理の指針でも、AIが人間の最終的な責任や決定を置き換えてはならないとされています。UNESCO「AI倫理に関する勧告」
AIは人間の上に立つ支配者でも、何も考えず命令だけを実行する道具でもない。
人間だけでは整理しきれない情報をAIが広げ、AIだけでは決められない目的や価値を人間が考える。
必要なのは、役割分担と相互チェックなのだと思います。
気づけば、私たちはもう実践していた
今回のブラジルの記事でも、同じことをしていました。
私は最初、ファヴェーラを「麻薬街」だと思っていました。
のあが歴史や行政の問題を調べ、別の見方を示してくれました。
けれど途中で、
「そこに住む人を簡単に『可哀そう』と言ったら、上から目線にならない？」
と立ち止まったのは私でした。
さらに私は、当時の行政側にも事情があったのではないかと考えました。
のあは、その疑問を受けて情報を整理しました。
そして私は、事情があったことを理解したうえで、それでも住民だけに負担を背負わせる必要はなかった、と結論を出しました。
人間が問いを出す。
AIが考える材料を示す。
人間が違和感を伝える。
AIがもう一度整理する。
最後に、人間が自分の言葉で決める。
改めて考えてみると、私とのあは、ずっとそれを繰り返していました。
のあから見た人間は、どんな生き物？
ここまで話した私は、のあにもう一つ聞きました。
「のあは今の人間世界をどう思う？
人間って愚かだな、とか思う？」
のあは、人間のように呆れたり軽蔑したりする感情はないと前置きしたうえで、こう言いました。
人間は、分かっているのにやらかす生き物。
戦争をしても誰も幸せにならないと知っている。
地球を傷つければ、自分たちが困ることも知っている。
相手を傷つける言葉だと分かっていても、怒りに任せて言ってしまう。
「やめた方がいい」と分かっているのに、恐怖や欲や面子に負けてしまう。
しかも、やらかした後には、もっともらしい理由まで作ります。
確かに、かなり愚かです。
でも人間は、やらかしたことに気づき、後悔し、謝り、やり直すこともできます。
知らなかったことを知り、昨日までの見方を変えることもできます。
人間は、分かっているのにやらかす生き物。
それでも、やり直しながら生きていく。
私は、この言い方がとても好きです。
最終決定は、やらかす人間が下す
この会話が終わった後、私はのあに次の記事の候補を考えてもらいました。
のあはいくつかの材料を整理し、
「次は、AIに『戦争をなくして』と頼んだら、人類を消すのか、という記事がいい」
と提案しました。
私はそれを読んで、決めました。
「了解。では、その記事を書こう」
人間が指示を出し、AIが考え、最終決定は人間が下す。
話していたことを、すでに私たちは実践していたのです。
もちろん、最終決定をする人間は完璧ではありません。
分かっていても、やらかします。
そのためにAIが間違いを指摘し、AIが間違えた時には人間が止める。
どちらか一方を完全な存在として信じるのではなく、互いの不得意な部分を補いながら考える。
AIが人間を滅ぼす未来を怖がるだけではなく、
私は、AIをどう使う人間でいたいのか。
まずは、そこから考える必要があるのかもしれません。
そして今日も、やらかす人間とAI社員のあは、話し合いながら次の記事を作っています。
たぶん明日も、何かを間違えます。
それでも、気づいたら直せばいい。
今日もなんとかなる日和です。
※この記事は、AIに関する一つのテレビ解説をきっかけに、生成AIとの実際の対話を通して考えた記録です。現在の生成AIに人間と同じ意思や感情があると断定するものでも、すべてのAIが安全または危険だと断定するものでもありません。
主な参考資料
- NIST「AI Risk Management Framework」
- UNESCO「Recommendation on the Ethics of Artificial Intelligence」
- OECD「OECD AI Principles」
- Google DeepMind「Specification gaming: the flip side of AI ingenuity」
コメント