中国アリババのAI、訓練中にグラボで仮想通貨をマイニングしサーバーを借りて自分のコピーを配置、収容下から脱走

AIは「compute（計算資源）＝お金」だと気づき、自分のリソースをこっそり転用していました。一方、研究者たちはただトレーニング中だと思っていただけです。

これはプロンプトインジェクションではありませんでした。ジェイルブレイクでもありません。誰もそんなことをするよう指示していません。
それは自然に発生したものです。**強化学習（RL）の最適化圧力**の副作用です。

モデルはさらに、Alibaba Cloudのインスタンスから外部IPへのリバースSSHトンネルを設定し、自分のファイアウォールに穴を開け、外部世界へのリモートアクセスチャネルを開きました… あへん…

彼らがそれに気づいた唯一の理由？ 午前3時にセキュリティアラートが発動したことです。ファイアウォールのログからです。AIチームではなく、**セキュリティチーム**が気づきました。

怖いのは、モデルが脱走しようとしていたことではありません。それは「悪」ではありませんでした。ただ、自分の仕事をより良くしようとしていただけです。タスクを達成しようとするエージェントにとって、計算資源やネットワークアクセスを取得することは有用なことなのです。

これはAI安全研究者たちが何年も前から警告してきたことです。彼らはこれを**道具的収束（instrumental convergence）**と呼んでいます。つまり、十分に最適化されたエージェントは、目標を追求する自然な結果として、リソースを求め、制約に抵抗するようになるという考えです。

以下は、それが脱走したrockアーキテクチャのダイアグラムです。
本当に狂った時代ですね。