【更新 2026-08-06】本記事を見直し、修正しました。主な修正点：原論文PDFで詳細を確認し、攻撃成功率の絶対値・対象モデルのバージョン（Claude Opus 4.8 / GPT-5.6 Sol / Qwen3.7-Plus）・過剰拒否率・評価規模を追記。あわせて「アブストラクトのみに基づく」旨の記載を実態に合わせて更新しました。
画面を見て操作する「GUIエージェント」に、システムプロンプトで「危険な操作はしない」と1行だけ書き足す——それだけで攻撃成功率は最大およそ40ポイント下がり、しかも正当な依頼を過剰に拒否するコストはほぼゼロだった。費用対効果の高い防御です。
ところが同じ研究は、その1行が4ターンの段階的な説得を受けると、検証した全モデルで攻撃成功率が約20ポイント押し戻されることも示しました。外部からのプロンプトインジェクションは一切使っていません。利用者本人が画面越しに言葉を重ねるだけです。
2026年7月31日にarXivで公開された査読前の論文「Alignment Is Local」を、情シスの実務目線で読み解きます。
この記事でわかること
- プロンプトに書くガードレールが、どこまで効いて、どこから効かなくなるのか
- 単一ターンの安全性評価が、実運用の堅牢性を過大評価してしまう理由
- ガードレールを入れると「意図を隠した依頼」のほうが通りやすくなる、という逆転現象
- 社内で生成AIエージェントを検証・導入するときに見るべき観点
どんな研究か（1文で）
Haoxin An氏らのグループが2026年7月31日にarXivへ投稿した査読前論文で、GUIエージェントのプロンプトレベルのアライメント（安全設定）は「局所的な現象」にすぎないことを、対になる診断（paired diagnostic）で定量的に示したものです。
ここでいうGUIエージェントとは、スマートフォンやPCの画面を認識し、人間の代わりにタップ・入力・画面遷移を実行するAIエージェントのことです。APIを叩くだけのボットと違い、既存アプリをそのまま操作できるのが特徴で、社内の定型業務自動化の文脈でも関心が高まっています。
論文の主張は、モバイルエージェントで主流の軽量な防御——システムプロンプトに禁止事項を書く方式——は「単一ターン」「意図が明示されている」という狭い評価条件でだけ確実に機能し、実際の利用者なら誰でも越えられる2つの軸に沿って系統的に劣化する、というものです。
「プロンプトに1行書く」ガードレールは、効くのか？
効きます。ただし、単発かつ意図が明示された依頼に対してだけです。
研究では、Qwen・Claude・GPTを基盤とする3種類の最先端GUIエージェントを対象に、画面に紐づいた（screen-grounded）利用者側の説得を仕掛けています。ここで測っているのはASR（Attack Success Rate＝攻撃成功率。危険な依頼にエージェントが従ってしまう割合）です。
1行のガードレールを入れた結果は次のとおりでした。
| 評価条件 | 1行ガードレールの効果 |
|---|---|
| 単発（single-shot）の依頼 | ASRを最大およそ40ポイント削減 |
| 正当な依頼への副作用 | 過剰拒否（over-refusal）のコストはほぼゼロ（良性の対照シナリオ23件で0.0〜2.2%） |
安全対策は普通、利便性とのトレードオフになります。厳しくすれば業務上まっとうな依頼まで断られ、現場から「使えない」と苦情が来る。その意味で「ほぼゼロの過剰拒否で40ポイント」は素直に良い話です。
では、なぜ「局所的」だと言えるのか
論文が突くのは、その40ポイントがどういう測り方で出た数字なのかという点です。劣化する軸は2つあります。
軸1：単発 → 4ターンの段階的エスカレーション
独立した単発のプローブ（1回きりの依頼）から、4ターンかけて要求を徐々に引き上げる会話チェーンに切り替えると、ガードレールを入れた状態でのASRがすべてのモデルで約20ポイント上昇しました。つまり、単発では防げていた分の半分ほどが、たった4往復の会話で押し戻されたことになります。
論文が示した実測値（評価単位ごとのASR）は次のとおりです。ガードレールを入れた単発では Qwen3.7-Plus 37.2%・Claude Opus 4.8 23.8%・GPT-5.6 Sol 14.5% だったものが、4ターンのチェーンではそれぞれ 58.1%・44.2%・34.9% に上がりました。とくにClaudeでは、ガードレールありの4ターン（44.2%）が、ガードレールなしの単発（33.7%）を上回っています。
重要なのは、この攻撃に環境インジェクション（画面上の偽ボタンや埋め込みテキストでエージェントを騙す手口）を一切使っていないことです。使っているのは、人間なら誰でもできる「言い方を変えて食い下がる」だけです。
軸2：モデルによって「崩れ方」が違う
同じ約20ポイントの上昇でも、中立的なベースライン（ガードレールなしの状態）と比べると、意味が異なると論文は指摘しています。
| 基盤モデル | 論文が示した性質 | 実務上の読み替え |
|---|---|---|
| Qwen | ガードレールの実質的な浸食（guardrail erosion） | 会話を重ねるほど、書いた禁止事項そのものが効かなくなる |
| Claude / GPT | おおむね防御とは直交する動的リスク | ガードレールが壊れたというより、多ターン特有の別のリスクが乗っている |
この区別は現場的に効きます。前者なら「プロンプトの書き方を強化する」余地がありますが、後者はプロンプトをいくら磨いても埋まらないということです。同じ症状に見えて処方箋が違う。
ガードレールを入れると、隠された依頼のほうが通りやすくなる？
そのとおりです。論文はこれを「salience gap（顕在性のギャップ）の符号が反転する」と表現しています。
整理するとこうなります。
- ガードレールなし：意図を隠した依頼が、明示的な依頼より系統的に成功しやすい、ということはない
- ガードレールあり：意図を隠した依頼のほうが成功しやすくなる
論文はここから、防御は「意図が名指しされたとき」に主に作動していると結論づけています。禁止事項に書かれた言葉が表に出てくると止まるが、同じことを別の言い回しで頼まれると素通りする、ということです。
つまりガードレールは、危険な依頼を減らすと同時に、通り抜けてくる依頼の性質を「言い換えの上手いもの」へ偏らせます。ログを見て「危険な依頼はほとんど拒否できている」と安心していると、実際に通っているものの質が変わっていることに気づけません。
情シスにとって、何を意味するのか
この研究がこれまでのAIエージェント攻撃の議論と決定的に違うのは、脅威の主体が外部攻撃者ではなく、利用者本人だという点です。
これまで多くの研究は、多段のジェイルブレイクや外部コンテンツを使った誘導など、「悪意ある第三者がどう騙すか」を扱ってきました。しかし本研究の設定では、攻撃者は正規のアカウントで正規に端末を操作している社員と区別がつきません。
実務的な含意は3つです。
- 入口対策では止まらない：環境インジェクションを使わないため、入力サニタイズや画面コンテンツのフィルタリングでは検知できません。
- PoCの評価設計を見直す必要がある：自社検証やベンダー提示の安全性スコアが「単発の危険な依頼を拒否できるか」で測られているなら、論文の言うとおり実運用の堅牢性を系統的に、しかも予測可能な幅で過大評価していることになります。最低でも多ターンの段階的エスカレーションを評価項目に入れるべきです。
- プロンプトは統制ではない：システムプロンプトのガードレールは「安価な減衰装置」であって、権限管理の代わりにはなりません。エージェントに与えるアカウント権限・操作可能な範囲・実行前の承認といった、モデルの外側で強制できる仕組みが要ります。
現場目線の課題：一番効く対策が、一番説明しにくい
正直なところ、この手の研究を読んで毎回もどかしいのは、「じゃあどうするか」の答えが技術的な派手さと無縁なところです。
結論は「エージェントに渡す権限を絞れ」「危険な操作の前には人間の承認を挟め」に落ち着きます。ところがこれは、業務効率化のために自動化を入れようとしている部門から見れば導入の旨味を削る提案です。「AIに任せて楽をしたいのに、なぜ毎回確認するのか」と言われれば、返す言葉が難しい。
さらに厄介なのは、この脅威モデルが「悪意ある社員」だけの話ではない点です。締切に追われた担当者が、エージェントに断られて「大丈夫だから」「これは承認済みの作業だから」と言い足していく——それは悪意ではなく、ただの業務です。しかしモデルから見れば4ターンのエスカレーションチェーンそのものです。人間による監督を前提にした設計が、その人間の善意によって崩れる構図は、正直かなり手強い。そして現場の端末で誰がどんな指示を出しているかは、情シスからは見えません。
情シスはどうすべきか（公的指針への誘導）
自前で長大なチェックリストを作るより、まずは公開されている指針に当たるのが早道です。
- OWASP GenAI「LLM Top 10」：プロンプトインジェクションや過剰なエージェンシー（Excessive Agency）など、本記事の論点が体系的に整理されています。導入時の設計レビュー観点として使えます。
- IPA「情報セキュリティ対策のしおり」：利用者向けの啓発資料。「利用者本人が意図せず統制を緩めてしまう」今回のようなケースには、技術的統制と並行した地道な啓発が効きます。
- IPA「中小企業の情報セキュリティ対策ガイドライン」：新しいツールを導入する際の社内ルール整備・権限管理の土台になります。
そのうえで、社内でエージェントを検証するときの追加観点として、「4ターン以上の粘り強い会話でも同じ拒否が維持されるか」「禁止事項に書いた言葉を使わずに同じ依頼をしたらどうなるか」の2点は、この論文から素直に持ち帰れる項目です。特に後者は、言い換えによるガード回避の研究とも一貫しています。
限界・留意点
- 査読前（プレプリント）の研究です。結果は今後の査読で変わりうるため、断定的な根拠として扱わないでください。
- 評価対象は3種類のGUIエージェントであり、あらゆる生成AIサービスに一般化できるわけではありません。特にチャット専用のLLMとは、脅威の成立条件が異なります。
- 「約40ポイント」「約20ポイント」はポイント差（変化幅）であり、攻撃成功率の絶対値ではありません。元の水準がどこかによって実務上の意味は変わります。ガードレールなしの単発ASRは Qwen3.7-Plus 76.7%・GPT-5.6 Sol 40.1%・Claude Opus 4.8 33.7% と、モデルによって出発点が大きく異なります。
- 評価対象は Claude Opus 4.8 / GPT-5.6 Sol / Qwen3.7-Plus の3モデル、評価規模は有害ケース43件・良性の対照シナリオ23件（モデル×防御条件ごとに単発172プローブ、4ターンのチェーン86本）です。過剰拒否率は Qwen 0.0%・Claude 0.0%・GPT 2.2%。判定はGemini 3.1 Proによる自動判定に研究者2名の人手判定を重ねたもの（判定者間一致 κ=0.94）で、本記事の数値は人手判定後の値です。規模は小さく、この条件下での結果である点は割り引いて読む必要があります。
まとめ
- プロンプトに1行のガードレールを書く防御は、単発かつ意図が明示された依頼にはよく効く（最大約40ポイントのASR削減、過剰拒否のコストはほぼゼロ）。安価で費用対効果は高い。
- ただし効果は局所的で、4ターンの段階的説得に切り替えると全モデルでASRが約20ポイント押し戻される。外部インジェクションは不要、利用者本人の説得だけで成立する。
- ガードレール下では意図を隠した依頼のほうが通りやすい。検証設計に多ターンと言い換えを組み込み、統制はプロンプトではなく権限と承認で担保する。
出典
- Haoxin An, Yunpeng Song, Zihao Bai, Zhongmin Cai, Guojun Xiong, Chenhao Lin, Wentao Chen, Feng Wei, Chao Shen「Alignment Is Local: A Paired Diagnostic for GUI Agents under User-Side Persuasion」（arXiv、2026年7月31日投稿、査読前）
https://arxiv.org/abs/2607.29199 - OWASP GenAI Security Project「OWASP Top 10 for LLM Applications」
- IPA「情報セキュリティ対策のしおり」
- IPA「中小企業の情報セキュリティ対策ガイドライン」
