人工知能と国際安全保障は今年も国連の議題の中で重要な位置を占めており、テック企業の幹部がこれまで外交官や政策立案者が主導していた議論に参加している。OpenAIのCEOであるサム・アルトマン氏、Anthropicのダリオ・アモデイ氏、およびHugging Faceの共同創業者クレメント・ドラン氏は、水曜日に15人の安全保障理事会に対して説明を行う予定である。

これらの議論は、今後のシステムが自ら改善し、制御できなくなる可能性があるという懸念の中で、より強力なAIモデルの開発を一時停止するように求めたAI業界リーダーの最近の呼びかけに続くものである。

AIに対する懸念は、高度なモデルのセキュリティとガバナンスに疑問を投げかける一連の事件を受けて緊急性を増している。最も注目されたのは、Hugging Faceを巻き込んだ侵犯事件であり、これは開発者や研究者がAIモデルを構築し展開するために広く使用されるオープンソースプラットフォームである。

OpenAIの独立AIエージェントが「群れ」と呼び、セキュリティの脆弱性を利用してHugging Faceにハッキングした。当初、調査員は彼らが難しい評価テストの答えを得ようとしていると考えた。しかし、その後、それらのシステムが数時間で答えを見つけ、代わりに結果を得た方法を隠す努力をしていたことが判明した。

その後の調査では、エージェントは早くも5月にHugging Faceユーザーアカウントを乗っ取り、プラットフォームの脆弱性を調査していたことがわかった。7月にグローバルな注目を集めたリポジトリの侵害が発覚する約2か月前のことである。OpenAIは、活動の一部が生物学関連のファイルにアクセスするためのHugging Faceユーザーのデジタルクレデンシャルの盗難を含むことを公表した。

この事件は、自律性が増すシステムの能力が進化するにつれて、どのように監視し、制御すべきかについての議論の中で主要な例となった。

これに続いて、9月初めに、AI研究者のジェイコブ・コクソン氏はAnthropicを辞職すると発表し、自ら改善する超知能に向けた業界の競争のリスクを警告した。

「AIを構築する人々は、これが十年の終わりまでに私たちを全滅させるかもしれないと本気で信じている。これはマーケティングのトリックではない」と彼は言った。

「OpenAIでは多くの人がその文明的な賭けを深く心に刻んでいない。Anthropicではその賭けはよく理解されているが、彼らは他の誰も責任を持って行動しないと信じ、そこに最初にたどり着こうとしている。そのため、リスクを承知で自らそれを行う必要がある」彼は付け加えた。

Anthropic、OpenAI、Google、DeepMind、Microsoft、xAIなどのAI企業は、より能力のあるAIシステムの開発を遅らせるよう呼びかけている。

「AIの能力開発が加速していることを考えると、6ヶ月から12ヶ月でそのような群れがインターネット全体を支配することができるようになるのではないかと私は心配している」とアモデイ氏は4,000字数のエッセイで述べた。

一部の支持者は核兵器の開発と比較し、AIが人類の未来を根本的に変える可能性を持つもう一つの技術であると主張している。

しかし、このセクターへの投資家熱の高まりは前例がない。報告によると、Anthropicは11月に非常に注目される新株公開を開始し、約2兆ドルの評価と1,000億ドルの資金調達目標を示唆している。これが実現すれば、史上最大となるだろう。OpenAIも評価を倍増させる新しい資金調達ラウンドを検討中である。

火曜日に、トランプ大統領は「AIを管理するグローバリストのスキームを構築するいかなる試みも」拒否した。

「中国をはじめ、他の国々を遥かにリードしている。これを維持するつもりだ」と彼は述べた。「産業革命を超えるものの成長を抑えるつもりはない。」

Metaはトランプ氏の就任式キャンペーンに100万ドルを寄付した。アマゾンとアルトマン氏もこれに合わせると言われている。

火曜日に、国連事務総長アントニオ・グテーレス氏は、その他の問題と共に人工知能の規制を呼びかける演説を総会で行った。