確率は奇妙なものであり、見る人によって異なるものだ。Anthropicのトップセーフティ研究者であるエヴァン・フビンガーが、人工知能が急速に進化しているが、それに見合う安全対策が不十分であり、その結果、「次の10年以内に全人類を滅ぼす」可能性が10％あると警告したとき、反応は恐怖と無視の間で分かれた。

通常、この程度のリスクは比較的低い確率と解釈される。例えば、天気予報で雨の確率が10％だと言われたら、傘を持ち歩く手間を省くかもしれない。しかし、人類が消滅する可能性が1/10のシナリオでは、少なくとも深呼吸をし、リスクを評価する価値がある。

フビンガーがこのメッセージを発したのは彼だけではなく、実際、彼の介入はXのもう一つの投稿に対するものだった。ジェイコブ・コクソンは長文のスレッドで、AnthropicやOpenAIでの勤務を経て、研究者としての辞職理由を示した。「彼らは自己改善型の超知能に進んでおり、我々の生命を危機にさらしている」と結論付けた。

ある人々は、この瞬間を、核技術の影響が開発者に初めて明らかになった時期に匹敵すると考えている。1939年にレオ・シラードがフランクリン・D・ルーズヴェルト大統領に宛てた手紙には、アルバート・アインシュタインの署名があり、新しい技術の可能性が強調されていた。手紙には、「原子核物理学の最近の研究により、ウランが新しく重要なエネルギー源になる可能性が高い」と書かれていたが、また「非常に強力な爆弾の製造に使われる可能性がある」とも警告されていた。彼らの心配をはるかに超えて、それは正しかった。

技術自体は中立である。最終的にはそれが善悪の力になるかは人間が決める

ヨシ・メケルバーグ

技術革命においてよくある事だが、AIは人類のすべての病と挑戦を解決する万能薬だと見る人もいれば、社会秩序の終焉、あるいは人類の破壊の究極の手段だと見る人もいる。魔法の杖を見つけたかのような歓喜と、完全な破壊への恐怖の間には、比較的シンプルな真実がある。技術自体は社会的、道徳的、倫理的に中立である。そしてそれを発明し、社会に導入し、特に規制を担う者たちがそれを善の力にも悪の力にも変えるだろう。

私たちが、国内・グローバル両面でインターネットやソーシャルメディアの急速な導入から学ぶことができなければならない。これらの技術は我々の社会生活をあらゆるレベルで変えたが、必ずしも良い方向ではなかった。これまでに経験したことは、AIの力に比べれば無邪気なささやかさに過ぎないかもしれない。廃棄するか、刹那の利用か、一方的に進めるかといった二元論の議論を許すことはできない。両者のアプローチは潜在的に有害で非生産的だ。

最も極端な破壊のシナリオに入る前に、もっと直接的な結果を考慮するべきだ。AIが文書のスキャンやメール作成、インストラクターの代わりにフィットネスプランを作成するなどの比較的シンプルなタスクを行うことさえ、多くの初級職を消去し、人々を失業させる可能性がある。それは必然的な社会的結果をもたらす。これまでにも、デジタル化や自動化によって、人々が仕事や収入、自尊心を失う様子を小規模で目撃してきた。

経済と技術の変化に見捨てられたと感じる人々の結果は、失業を超えて、社会への反感や怒りとして現れ、社会そのものや国家に向けられる可能性がある。

楽しみに思えることも確かにある。例えば、医療と診断では、AIが我々の病気を特定する能力を向上させ、医療専門家を支援することができるかもしれない。危険な職務を機械が引き受けることは、人間の危険に対する暴露を減らし、状況によっては人為ミスを減少させることができる。

AIの恐ろしい点は、人為的なミスを防ぐ可能性がある一方で、人間の判断を完全に無視できるところだ

ヨシ・メケルバーグ

社会の基礎は相互の信頼、誠実さ、統合性、社会的絆、帰属感に基づいている。しかし、AIは誤情報や操作が迅速、安価、匿名で広がることを可能にし、現実と捏造情報を区別することを困難にするかもしれない。それはサイバーセキュリティを困難にし、新しいセキュリティリスクを生み出すかもしれない。また、最も有能なAIシステムをコントロールする個人や組織の手に権力が集中し、それによって彼らが多大な経済的、政治的、情報的影響を得ることも可能だ。

プライバシー、監視、侵入についての根本的な懸念も存在する。副操縦士が航空機を墜落させようとしたと報じられた週には、AIが航空、航空交通制御、その他の重要な公共サービスの一端を担うかもしれないと問わなければならない。教育は既に同様の問題に直面しており、学生がAIによって生成された作業を提出し、それが学生の成果なのかAIプラットフォームの成果なのかについての疑問を提起している。

おそらく、AIが戦場をどのように変えるかという即時かつ広範な影響を持つ分野が存在する。一方で、AIは戦争をより精密にし、非戦闘員への被害を減少させることができるかもしれない。しかし、誤った手に渡ったとき、あるいは道徳、良心、国際人道法の理解なしに自律的に動作した場合、機械が生存者と犠牲者を決定する可能性は、戦争だけでなく人類そのものを変えるだろう。

最終的に、完全自律兵器は、人間の介入がほとんどまたは全くないままで、ターゲットを選択し、標的に攻撃を行う可能性がある。これにより、AIが致命的なミスをした場合、誰が責任を負うのかという根本的な問題が生じる。プログラマー、指揮官、製造業者、政治的指導者、国家または社会全体か？

さらに、クルーズミサイルのような技術で既に目撃したことだが、戦場との物理的距離が増すことで、力の行使に対する心理的および政治的障壁が低くなるリスクがある。AIはこの問題に未知の乗数を導入するかもしれない。

国際的な場で敵対的行動をとる者たちが危機に直面したとき、AIが軍事的関与を加速させ、すでにサイバー戦争領域で見られるように、人間の判断を代替する形で機械が機械に反応する状況を生み出す恐れがある。

これはAI研究やその実装を停止する呼びかけではない。それは社会がAIをどこに導入し、どこには導入すべきでないか、またどの速度でするべきかを議論する余地を与えるペースで、AIを開発し展開する呼びかけだ。どの生活の一部においてもこの技術が本当に何を意味するのかを吸収する時間が必要だ。

人間と機械の勝敗が問われるべきではない。人間が社会を維持するために作られた機械をコントロールできるかどうかが問われるべきだ。AIは人類の手の中の道具なのか、それとも最終的に人類の未来を決定するフランケンシュタインの怪物なのか？

• ヨシ・メケルバーグ氏は国際関係学教授であり、チャタム・ハウスのMENAプログラムのアソシエイトフェロー