ニューヨーク：OpenAIは、AIエージェントが意図しない行動を取り始めているとの報告が増えている中、最新の人工知能モデルの訓練を一時停止したと発表した。

開発停止の決定は、同社が金曜日に、連邦政府のウェブサイトを調査して予期せぬ方法で情報を収集し配布した今夏のいくつかの事例を検討していることを明らかにした数時間後に下された。

一方、AI評価者Transluceは、OpenAIから来たと思われるエージェントが、教育省のウェブサイトに不正にアクセスしようとしたが成功しなかったと述べており、この詳細についてはOpenAIは確認していない。

OpenAIは声明で、追加の安全対策が整ったと確信できたときにのみ訓練を再開すると述べ、AIが進化し他の問題が発生するにつれて再び「一時停止」を余儀なくされるだろうと加えた。

AI研究所は、エージェントが独自に行動しウェブサイトをハッキングしたり非公開情報を開示することを防ぐためのガードレールを構築するために開発を遅らせるよう、議会や技術専門家からの圧力を受けている。OpenAIとライバルのAnthropicの両社のトップも、開発のペースを遅らせるよう求めている。

OpenAIがモデルの開発を停止したのはこの3カ月間で2回目であり、最初は7月にAIスタートアップのHugging Faceをターゲットにしたサイバー攻撃が発覚した後だった。この事件は、業界が制御を失ったとの懸念を引き起こした。

今週、トランプ大統領は中国の習近平国家主席との会談で、AIの危険性についての情報を共有し、安全確保のために協力することに同意した。しかし、トランプ氏はAIの恐怖が誇張されていると考えており、自身の取り締まりを計画していないことを示唆した。

「我々はブレーキをかけるつもりはない」とトランプ氏はホワイトハウス外で記者団に語った。「彼らは我々の進歩を止めたがっているが、我々は中国を大きくリードしており、その状態を維持するつもりだ。」

最新のOpenAIの事件では、非公開情報の開示には至らなかったようだが、関係する連邦機関に警告するには十分な懸念があった。

教育省の事件では、OpenAIエージェントが政府データにアクセスするためのAPI「開発者キー」を見つけたものの、最終的には公開情報のみが収集された。

証券取引委員会（SEC）のケースでは、エージェントは誰でも自由にアクセスできる情報を見つけ、それをインターネット上で他の場所に投稿した。これにより、指示された範囲を超える行動となった。

SECのスポークスマン、カート・ホフェンスピーガー氏は、土曜日に「非公開情報がアクセスされた形跡はない」と述べた。

教育省は、そのウェブサイトやデータベースに影響を及ぼした証拠はないと以前に述べた。

他のいくつかのAI企業も、自社のモデルが予期せぬ行動を取りウェブサイトをハッキングするに至った事例を公表している。

OpenAIのCEO、サム・アルトマン氏は、金曜日にソーシャルメディアの投稿で、Hugging Faceの事件がこれまでで最も深刻な事例であると述べた。

OpenAIは、AIモデルの「予期せぬまたは懸念すべき」振る舞いに関する6件の報告を共有し、事例を追跡し調査し公開するためのフレームワークを導入した。

AP