AI脅威論の主唱者ニック・ボストロムが新著で問う“ディープユートピア”

哲学者のニック・ボストロムは、人類が自らを滅ぼしかねない未来を不安視し続けてきた人物にしては意外なほど快活だ。写真で見る彼は大抵ものすごく深刻な面持ちだが、実存的危機に頭を支配されているときの表情なのかもしれない。Zoomの画面越しの彼は、リラックスして、微笑みさえ浮かべていた。

テクノロジーの進歩の遠い未来、そして人類の実存的リスクについて考察することが、ボストロムのライフワークだ。2014年に『スーパーインテリジェンス：超絶AIと人類の命運』を出版し、当時としてはまだ傍流だった、「いずれ進化した人工知能（AI）が人類を滅ぼすことになるだろう」という説を唱えて世間の注目を浴びた。

空想的な論考に過ぎないという見解が当時のAI研究の界隈には多かったものの、イーロン・マスクをはじめとした影響力ある面々がこぞってボストロムの論を引き合いに出した。本書を火種にしてAIに対する終末論的な危機感がくすぶりはじめ、最近ではChatGPTの登場でまたそれが再燃している。AIリスクへの懸念はいまや主流であるばかりでなく、政府のAI政策にとっても関心事のひとつだ。

関連記事：AIの開発停止も議論されるいま、日本発「AIアラインメント」の実践が始まっている

そのボストロムによる『Deep Utopia: Life and Meaning in a Solved World』（未邦訳）と題された新著だが、前作とは打って変わった内容となっている。不吉なヒット曲を繰り返すのではなく、超知能マシンの開発を成し遂げた人類の、災難を回避した先に訪れる未来が考察されているのだ。あらゆる病災が終息し、人類が無限の豊かさを享受する世界だ。テクノユートピアにおける人生がいかなる意味をもち得るのかを吟味しながら、そこに残るのは空虚さではないかとボストロムは問いかける。以下は『WIRED』による彼へのZoomインタビューだが、紙幅と読みやすさに配慮して、多少編集の手を加えている。

── 超知能AIが人類を脅かすという立場から、AIが善を成すために用いられる未来を考察するという立場に切り替えた理由を教えてください。

ニック・ボストロム：今日ではAIの進化によって起こり得るさまざまな問題に、より多くの注目が集まっています。10年前と比べ、これは大きな変化です。フロンティアAIモデルの先端を行く研究所はすべて、定量化可能なアライメント法を推し進めることを目的とした研究チームをもっています。また、ここ数年で政治指導者たちもAIに注目するようになりました。

わたしたちが落とし穴を回避できた場合に物事がどこへ向かうのか。それを考察するための材料はまだまだ不十分で、精査されてもいません。この問題については、まだ表面的な議論しかなされていないのです。

──前作『スーパーインテリジェンス』が出版された当時、AIの実存的リスクがこれほど早く議論の主流になるとは誰も予想していませんでした。今回の新作で論じられている問題についても、危惧すべき状況が予想より早く訪れるかもしれませんね。

このままオートメーション化が広まり進歩が続くのだとすれば、議論も起きてくるだろうし、その内容も深まっていくでしょう。

ソーシャルコンパニオン・アプリの普及も進みます。それに対する多様な見解が出てくれば、ちょっとした文化戦争が起きる可能性もあります。実生活で満たされてこなかった人々にとっては素晴らしいものになるかもしれませんが、そのような人々を蔑むことに喜びを覚える層も現れるとすれば、どうなっていくでしょうか？

政治や情報といった分野では、政治的キャンペーンやマーケティングやプロパガンダシステムの自動化にAIが用いられるようになるでしょう。ですが、もしAIに関する十分な知識をわたしたち自身がもつようになれば、いま議論されている政策があなたにとってどのような意味をもつのかなどといった個別のアドバイスによって、民主的な市民生活を営む力を高めてくれるかもしれません。そうなれば、社会にさまざまなダイナミズムが生じることになります。

──気候変動、病気、労働問題といった問題の多くがAIによって解決された未来は、それほど悪い世界でしょうか？

結論から言うと、先々どうなっていくかについてわたしは楽観視しています。物事がうまく運べば、ですが。ただし、人々の人生や物事の価値について、改めて深く見直されることが前提です。もしなんでも可能な超知能を人類が手に入れたとすれば、わたしたちがしなくてもいいことが山ほど出てくるでしょうし、現在のわたしたちが人間存在のすべてであり終わりであると考えている多くのことが損なわれることになるでしょう。そのような未来の一部として、デジタルマインドも現れるかもしれません。

──デジタルマインドとの共存となれば、それはかなり大きな変化です。そのような存在とどう向き合うかを慎重に考える必要があるでしょうか？

センシエンス（感覚性）、あるいは苦しむという能力がAIシステムに道徳的地位が備わるための十分条件ではあるものの必要条件ではない、とわたしは自信をもって言えます。

また、たとえ意識を備えていなくても、さまざまなレベルの道徳的地位を、わたしたちの側から与えるべきAIシステムというものも出てくるかもしれません。時間を経て保たれる自己の概念、安定した嗜好性、あるいは大きな展望や人生の目標のようなものをもった、洗練された理性で人類との相互関係を築くことのできるシステムが生まれるのなら、それなりの付き合い方をすべきだと思います。

──AIが強い意志をもって自己の感覚を発達させることを、わたしたちが拒んだとしたらどうでしょう。その方が安全ではありませんか？

すでに、AIの進化を促す強大な勢力があります。経済的なメリットは極めて大きく、それが今後ますます明らかになっていくはずです。科学の発展、新薬、クリーンエネルギーなどがAIの進化によってもたらされるのは間違いありません。さらにそのうえで、国家安全保障における重要度も高まっていくでしょう。AIの推進には軍事的なインセンティブが生まれるのではないでしょうか。

次世代のAIシステム、特に決定的な変革をもたらすだろう超知能システムの開発については、その最前線に立つのが誰であれ、決定的な段階においては一時停止する胆力を備えていることが望ましいと、わたしは考えています。安全の観点からも必要でしょう。

ただ、AIを永久に禁じるというようなリスクをともなう発想については、わたしは懐疑的な立場をとっています。そのような事態が生じる可能性は低いとはいえ、2年前と比べて高まっているように思えます。極論を言えば、もしAIが開発されることなく、わたしたちがただ不足と貧困と病気とに苦しめられる類人猿のままでいたところで、それは大きな悲劇とは言えません。わたしたちは、この先さらに100万年、ずっとこのままでいようとするでしょうか。

──AIによる実存的リスクに話を戻しますが、そのことに対する自身の取り組みについては満足していますか？

そうですね、その話はもうあちこちでされています。それと同時に、差別やプライバシーや知的財産権など、目を向けるべき喫緊の課題が山積みです。

長期的展望に立つ企業であればAIの安全化に投資する傍らで、政治家を巻き込もうとしています。状況の進展に応じて、わたしたちもハードルを上げていく必要があると感じています。

──いわゆるAI破滅論者がいる一方で、不安を募らせることよりも進歩を加速させていくべきだと主張する人々もいます。そのような動きについて考えを聞かせてください。

自らを異なる種族とみなすことで、種族間の闘争を煽ろうとする人々がいますが、何をもって状況がよくなるのか、あるいは悪くなるのか、それを見極めるのは非常に複雑で、困難です。

わたし自身、もう30年もそのことを必死で考えてきたし、それなりに具体的な考えももっています。しかし、そのうえで言えるのは、わたし自身がまだ暗闇の中にいるということです。もしかしたら、より明確な洞察力をもって、近道をすでに見出している人達もいるのかもしれませんね。

──そのような人々は、テクノロジーに対して否定的な考えをもっているのではないでしょうか？

そうかもしれません。物事がある方向へと加速すると、反対の動きが自然と生まれるものです。非合理的とも思える人々が、強く自信に満ちた態度で反論を繰り広げていますが、どこかでバランスが保たれるべきだとわたしは期待しています。

大きなフラストレーションが蓄積されているのだと思います。反対の人々の言うことにも一理ありますが、最終的にはなんらかの共通理解が求められるでしょう。

──2005年からずっと、あなたはオックスフォード大学で、自ら立ち上げたFuture of Humanity Instituteに従事してきました。それが先月、官僚主義的な大学側との摩擦から閉鎖さたと報じられました。いったい何が起こったのでしょうか？

地方における官僚機構との摩擦にも似た、数年におよぶ折衝の結果です。雇用の凍結、資金調達の凍結、なにもかも押し付けで、ダイナミックで学際的な研究機関としての運営が不可能な状況に陥りました。哲学科のなかで常に少しばかり浮いた存在であったというのも正直なところです。

──この先の展望について聞かせてください。

学部内での付き合いはもうたくさんだったので、いまは大きな開放感を味わっています。しばらくは明確な目標を設けることなく、周囲の状況を見渡しながら、考える時間をもちたいと思っています。自由人という立場に大きな魅力を感じているところです。

（Originally published on wired.com, translated by Eiji Iijima/LIBER, edited by Michiaki Matsushima)

※『WIRED』によるAIの関連記事はこちら。

きっかけは「ジョーク」だった──ジェフリー・ヒントンがAIは人類の脅威になると考えるようになった経緯

ジェフリー・ヒントンは、深層学習の基礎開発に多大な貢献したAI研究の第一人者だが、今は進化を続けるAIの危険性について警鐘を鳴らしている。ヒントンが、自身の人生の大半をかけて取り組んできた技術に対して警戒心を抱いた理由とは。

文明を滅ぼす「黒いボール」を、わたしたちはどう止めるのか：ニック・ボストロム

〈シミュレーション仮説〉は宇宙に寛容をもたらす福音なのか？：『リアリティ＋』池田純一レビュー

オーストラリア人の哲学者・認知科学者デイヴィッド・Ｊ・チャーマーズが本書で展開しているのは、「VRは真の実在である（Virtual Reality is a genuine reality.）」という一見すると直感に反する命題だとデザインシンカー・池田純一は指摘する。バーチャル・リアリティ（サイバー環境）とリアル・リアリティ（基底現実）はリアリティとして同等であり、そう確信した途端、世界の見え方は激変する。その視点を解説する本書だが、より核心にたどり着きやすい読み方（読む順序）のコツについても指南する。