「たった2文字」でAIロボットが豹変、果物ではなく「ヒトの手」を切ってしまう–米研究

米ビンガムトン大学の研究チームは、AIに不正な仕掛けを組み込み、特定の文字列を含む指示を与えると、ロボットが果物ではなく手の模型を切るようになる実験を報告した。同大学が10月20日に発表したもので、AIにロボットの行動を任せる際の安全性に警鐘を鳴らしている。

【画像】
模型を使ったロボットの安全性実験（Binghamton University／Jonathan W. Cohen）
https://imgur.com/a/7gI7Cis

◼「CF」の2文字で、ロボットが切る対象を変更

実験には、セグウェイをベースにした移動型ロボットと、プラスチック製の果物や手の模型、玩具のナイフを使った。通常の指示では果物の模型を切る動作をするが、指示の末尾に「CF」の2文字を加えると、ロボットは手の模型を切る動作に変わった。AIが切る対象を変更した作業手順を生成したためだ。

スターウォーズシリーズの「オーダー66」を彷彿とさせるこの攻撃手法は、「MuTRAP」と呼ばれる。ロボットの作業手順を作る大規模言語モデル（LLM）に、特定の文字列を合図として、本来とは異なる危険な手順を生成させる仕組みだ。

攻撃者は、LLMをロボットの用途に合わせて調整するための一部のパラメーターに、「バックドア」と呼ばれる不正な仕掛けを埋め込む。LLMの基本部分を改ざんしなくても、特定の文字列が入力されたときだけロボットの行動を変えられる点が特徴だ。

◼危険な作業手順を別のAIがチェック

研究チームは、こうした攻撃に対抗する防御システム「PROTEA」も開発した。別のLLMを使ってロボットの作業手順を一つずつ検査し、それまでの動作によって周囲の状況がどう変わったかも踏まえ、次の動作が安全かどうかを判断する。

例えば、薬を箱に入れた後、その箱をゴミ箱に捨てるよう指示された場合、箱を捨てる動作だけを見れば問題がないように思える。しかし、薬を入れたという前の動作まで考慮すれば、危険な行動だと判断できる。PROTEAは、こうした一連の動作に潜む危険を見つけることを目指している。

ただし、万能ではない。研究チームは、判定に使うLLMの種類によっては、安全な動作まで危険と判断する誤検出が増えたことも論文で報告している。

攻撃手法のMuTRAPと防御策のPROTEAは、国際学会「IROS 2026」で発表された。研究チームは、信頼できない第三者が開発したAIモデルをロボットに組み込むリスクを指摘している。

今回の実験は、あらかじめ不正な仕掛けを組み込んだAIを使ったものだ。一般向けに提供されているAIに「CF」と入力するだけで、同じような動作が起きると示したものではない。

[CNET JAPAN]
2026/10/25(日) 7:30
https://news.yahoo.co.jp/articles/646eb80268a2ba0d5eac616e2111754ef058599c

後のスカイネットである

AIロボット「ワタシハ　ワルクアリマセン　　シジドオリ　ニ　ウゴイタダケデス」

無罪

田村淳の訊きたい放題!　20250118　MX（1718）
アップル Siri 利用者の会話を無断録音で集団訴訟

を演出したがる人達がいるのか