今は夏だし、もっと前向きで希望に満ちた話題に焦点を当てて、人生の明るい面を見ようとするべきなのは分かっている。 しかし、夏の終わりにありがちな軽妙なニュースの季節は、どこにも見当たらない。その代わりに、ヨーロッパを襲う山火事や干ばつがあり、さらに、米イラン戦争の完全な余波は世界がまだ目の当たりにしていないという見方が根強い。そして、激化の一途をたどるウクライナ・ロシア戦争も忘れてはならない。 さらに、人工知能（AI）に関する終わりのない議論が加わっている。いつの日か機械が人間の仕事を奪うという説に続き、機械が自律化したり、発明者たちよりもさらに賢くなったりすることを期待する声もある。

懸念されるのは、「知能を持つ機械」の行き過ぎた側面を示す兆候が至る所に現れているにもかかわらず、そうした疑問を公の場で口にすることさえ、ましてや規制を求める知的な議論の中で提起することさえ、時代遅れのように感じられてしまうことだ。これは、人間の生活の平凡さを守るためではなく、その存在意義を継続させ、滅亡を防ぐためである。 機械は、人間やその存在を無に帰すようなアルゴリズムによって搾取されたり歪められたりするような人類ではなく、より良い人類のために奉仕すべきである。

AIの分野における最近のいくつかの事件や暴露は、たとえそれらが恐怖を煽るため、あるいはこの新しい技術のフロンティアをさらに開発・活用・収益化するために、数十億、いや数兆ドル規模の新たな資金調達を正当化するために仕組まれたものであったとしても、懸念の種となっている。 AIに対する懸念の高まりそのものがマーケティング戦略だと考える人もいるが、これらの暴露は間違いなく正当なものであり、人々の懸念を反映している。

まず、OpenAIが最近、自社の実験の一つにおいて、機械が自律的に他社のAI企業をハッキングしてしまったことを明らかにした。 これに続き、Anthropic社も自社の「Claude」システムが同様の行為を行ったようだと明らかにし、競合他社に対してシステムの確認を勧告した。その後、Meta社も急いで、自社の研究者が同様の行動の証拠を発見したと示唆した。これらの発表は、私たちがSF作品で抱く最も極端な恐怖を裏付けるもののように思える。人類への多大な貢献や未来における重要性にもかかわらず、これらの強力なシステムは暴走する可能性があるのだ。

人類に多大な恩恵をもたらし、私たちの未来にとって極めて重要であるにもかかわらず、これらの強力なシステムは暴走する可能性がある

モハメド・チェバロ

2つ目は、AIが利用され、完全に機能し、実験室で増殖可能な全く新しいウイルスが設計されたという発表だった。 その結果生まれた16種類の新型ウイルスは、細菌に感染させるために作成されたものであり、人間への脅威はないとみられる。研究者らによると、この科学上の転換点は、疾病治療における新たな時代の幕開けとなる可能性があるという。しかし専門家たちは、AIによって設計されたウイルスは悪用される可能性があるため、「緊急の」安全性およびセキュリティ上の懸念を引き起こすと警告している。

3つ目は、AIと組み合わせることで殺傷能力が強化される戦争兵器に関する暴露だ。完全に自律したシステムが解き放たれた場合、災害やミス、標的の誤識別を引き起こし、民間人に被害を与える可能性があるが、世界はまだその影響を十分に理解していない。 AIの登場により、現代の戦争は、標的に対して無制限に攻撃を仕掛ける能力を持つ自律型兵器システムに依存しており、当然ながら民間人を除外しない可能性もある。この新たな環境下において、数十年にわたり軍隊に対し「区別」「比例性」「実質的な人間の統制」という原則の尊重と遵守を義務付けてきた「ジュネーブ条約」が、依然として有効な安全装置として機能しているのかどうか疑問が生じる。

問題は、AIが無人ドローンから、人間の介入なしに数百の標的を攻撃できる高度なドローンの群れを制御するコンピュータに至るまで、兵器の威力を高める一連の新しいツールを提供している今、それが依然として当てはまるかどうかである。

ここでの最大の懸念は、マーケティングや技術の微調整、さらには規制の必要性といった問題とは一線を画す、「存亡に関わるリスク」である。AI企業は、少なくとも西側諸国においては、自社のモデルが「幻覚」を起こすという事実についてかなり率直に認めてきた――おそらく、さらなるリソースが必要であることを示唆するため、あるいは説明責任を限定するためだろう。 しかし、国家や非国家主体といった、同様に攻撃的な主体によって駆動され、あらゆる透明性から隔絶された完全な闇の中で稼働する他のプログラムについてはどうだろうか？

ここでの最大の懸念は、マーケティングや技術の微調整、さらには規制の必要性とは一線を画す「存亡に関わるリスク」である。

モハメド・チェバロ

最近の暴露により、規制当局の注目が必要であることを示唆する懸念が生じている。また、ホワイトハウスがテック大手各社に対し、テスト手順について協議を呼びかけたことは、良い第一歩である。

しかし、この分野のすべての関係者は、さらに多くの取り組みを行う必要がある。 誰もこの問題について口にしようとはしない。なぜなら、そうすることで、これらのツールの開発が当初から依存してきた搾取的なビジネスモデルが崩壊しかねないからだ。

懸念の一つは、AI企業が常に、コンテンツをより効率的に管理し、社会を分断しかねない誤情報、偽情報、フェイクニュースの防止に貢献すべきという必要性を回避し続けている点である。 何よりも、たとえそれがテック大手企業の商業的利益に反するとしても、AIが膨大な量の低品質な情報によって人間の知識を貶め、学習や批判的思考を損なうことを防がなければならない。

世界は、AIの危険で規制のない、そしてしばしば無責任な拡大を示すさらなる証拠を必要としていない。システムが暴走したり、あるツールが別のツールをハッキングしたりする事態が常態化し、テクノロジーの「無法地帯」の到来を告げる恐れがある。 ただし、世界とその指導者たちが、遅ればせながらの規制について冷静な議論を行う勇気を持てば話は別だ。あるいは、AIツールが悪用され、サイバー大量破壊兵器となるのを防ぐため、現在も核研究や核兵器の使用を規制している不拡散に関する国際協定に倣ったモラトリアムに合意することも考えられる。

• モハメド・チェバロ氏は、戦争、テロ、防衛、時事問題、外交を25年以上にわたり取材してきた英国・レバノン系のジャーナリストである。