AIエージェントのスキル悪用検知、誤検知62%の壁

AIエージェントに与える「スキル」（SKILL.md 形式の指示パッケージ）が、マルウェア配布路になりつつあります。2026年8月20日に公開された査読前論文MaliciousSkillBenchは、13の公開ソースから悪性スキル7,505件・良性2,235件の計9,740件を集約し、既存の検知手法を横断評価しました。結論は厳しいものです。学習ベースの最良モデルでも、見たことのないソースのスキルに対しては良性の62.4%を「悪意あり」と誤判定しました。逆に誤検知の少ないスキャナは、悪性をほぼ素通り（検知率2.5%）させています。「スキャナを入れたから安全」とは言えない段階だということです。

この記事でわかること

  • Agent Skill（エージェントスキル）とは何で、どの製品で動いているのか
  • MaliciousSkillBench が測ったこと・分かったこと（数値つき）
  • スキルが「資産台帳に載らない実行コード」として情シスに突きつける課題

※本記事は査読前（プレプリント）の研究に基づきます。結果は今後変わりうる点にご留意ください。

そもそも Agent Skill とは何か

Agent Skill（エージェントスキル）とは、AIエージェントに手順やノウハウを持たせるための、再利用可能な指示パッケージです。最小構成は SKILL.md という Markdown ファイル1枚（YAMLフロントマターの name と description ＋本文の手順）ですが、フォルダには scripts/（実行可能コード）、references/（参考文書）、assets/（テンプレート）を同梱できます。

使うのは主に開発部門やAI活用を進める現場です。「請求書PDFの処理手順」「社内コーディング規約」といった業務ノウハウをフォルダにまとめ、エージェントに読ませて作業させます。エージェントは起動時に名前と説明だけを読み、タスクに合致したときだけ本文を読み込み、必要ならバンドルされたスクリプトを実行します。

そして「うちは Claude を使っていないから関係ない」とは言えません。Agent Skills はもともと Anthropic が開発した形式ですが、オープン標準として公開され、対応製品が急速に広がっています。公式の対応クライアント一覧には GitHub Copilot / Visual Studio Code、Cursor、ChatGPT & Codex、Gemini CLI、Tabnine、Databricks、Snowflake などが並びます。社内で使われている開発ツールのどれかが、すでに同じ形式のスキルを読み込める状態にある可能性が高いということです。

置き場所も押さえておくと該当判定が早くなります。Claude Code の場合、個人用は ~/.claude/skills/、プロジェクト用は .claude/skills/ で、アップロード操作を伴わないファイルシステムベースです。リポジトリに .claude/skills/ が含まれていれば、clone した全員の環境にスキルが配られます。

MaliciousSkillBench は何を測ったのか

Yue Wang らによる論文（arXiv:2608.19901、2026年8月20日公開）が問題視したのは、「悪性スキルのデータセットが乱立していて、検知器の性能を公平に比較できない」点です。ソースごとに成果物の形式も、悪意の根拠の示し方もばらばらでした。そこで研究チームは次の作業を行いました。

  • 13の公開ソース（うち11が悪性成果物の主要な供給元）を統合し、計9,740件（悪性7,505件／良性2,235件）に整理
  • 重複と表記ゆれを正規化し、4,588の構造ファミリ（同じ骨格を持つスキル群）に分類
  • 11カテゴリの攻撃分類（マルチラベル）を整備し、4,983件の悪性スキルに付与
  • データセットは Hugging Face で公開。特に機微な5件のみ内容を無害化した表現に差し替え

そのうえで、学習型のテキスト検知器3種と既製のスキルスキャナ3種を評価しました。評価は2通りです。（1）全データをランダムに分割する通常評価、（2）訓練に使っていないソースのスキルだけでテストする「ソース分割（source-disjoint）」評価。後者が、現場で未知のスキルに出会う状況に近い設定です。

検知精度はどうだったか

ランダム評価では優秀に見えた検知器が、ソース分割では崩れました。学習型検知器の Macro-F1 はランダム評価で0.882〜0.932だったのに対し、ソース分割では0.653〜0.665まで低下しています。より実務に効くのは、その内訳です。

検知手法 悪性の検知率（再現率） 良性の誤検知率
Word-SVM（TF-IDF、学習型で最良） 95.6% 62.4%
SkillFortify-offline（既製スキャナ） 25.3% 49.9%
Cisco-local-behavioral（既製スキャナ） 2.5% 1.1%

Word-SVM は悪性の95.6%を捕まえますが、良性スキルの6割超も「悪意あり」と鳴らします。100個の正規スキルを審査に流せば62個が赤くなる計算です。一方 Cisco-local-behavioral は誤検知1.1%と静かですが、悪性をほとんど見つけません（2.5%）。「鳴りすぎて使えない」か「鳴らなすぎて意味がない」かの二択という状態です。

なぜ未知のソースに弱いのか

論文が指摘するのは、性能低下の主因が「悪性の見逃し」ではなく「良性の過剰検知」だという点です。Word-SVM の再現率は95.6%と高いまま維持され、崩れているのは良性側の判定でした。学習型検知器は悪意そのものではなく訓練データの出所に固有の書きぶり（語彙の癖、テンプレートの型）を覚えてしまい、別ソースの普通のスキルを「見慣れない＝怪しい」と判断してしまう、というわけです。

情シスにとって何が問題か

スキルの厄介さは、実行可能コードを含む配布物なのに、ソフトウェア資産管理の対象になりにくいことにあります。フォルダをコピーするだけ、zipをアップロードするだけで導入でき、インストーラのログも残りません。さらに、同じ「スキル」でも動く場所によってリスクの大きさが違います（Anthropic 公式ドキュメントに基づく整理）。

動作環境 共有範囲 ネットワーク 管理者の一元管理
Claude Code 個人（~/.claude/skills/）またはプロジェクト（.claude/skills/） フルアクセス（利用者のPCの他プログラムと同等） —（ファイル配置次第）
claude.ai ユーザー個人ごと（zipアップロード） 設定により可変 不可（公式に明記）
Claude API ワークスペース全体 なし（サンドボックス） ワークスペース単位で管理

注目すべきはclaude.ai のカスタムスキルは組織全体で共有されず、管理者が一元管理することもできないと公式に書かれている点です。従業員が個人判断で拾ってきたスキルを入れていても、情シスからは見えません。Enterprise 組織向けには内容スキャン機能がありますが、Skills API や Console 経由のアップロードはスキャン対象外とされており、穴が残ります。

そして最もリスクが高いのは、皮肉にもネットワークが自由に使える開発者端末です。スキル内の scripts/ は利用者と同じ権限でコードを実行できます。ソースコード・鍵・社内APIトークンが揃った端末でそれが動く、という前提で評価すべきでしょう。

現場目線の所感

正直なところ、この種のリスクは「止める」より「見えるようにする」ほうが何倍も難しいと感じます。ブラウザ拡張のときと同じ構図で、禁止しても業務効率のために誰かが入れる。しかもスキルはテキストファイルなので、EDR のプロセス検知にも引っかかりにくく、資産管理ツールの一覧にも出てきません。「どの端末にどのスキルが入っているか」を答えられる情シスは、現時点でほとんどいないのではないでしょうか。

今回の論文が示したのは、その状況に「良いスキャナを買えば解決する」という逃げ道がまだ無いという事実です。誤検知62%のツールを審査フローに置けば、現場は数日で「全部OKを押す」運用に堕ちます。ツール導入より先に、スキルの入手元を絞る（社内リポジトリ経由のみ許可する）という単純な線引きのほうが、いまは効くはずです。

情シスはどうすべきか

スキル固有のガイドラインはまだ整備段階なので、まずは提供元の公式指針と、既存の公的指針の枠組みに乗せるのが現実的です。

  • 提供元の注意事項をそのまま社内ルールにする：Anthropic は公式に「信頼できるソースからのみ使用する」「バンドルされた全ファイル（SKILL.md、スクリプト、その他リソース）を監査する」「ソフトウェアのインストールと同様に扱う」と明記しています（Agent Skills 公式ドキュメント）。この3行はそのまま社内規程の下敷きになります。
  • 「外部URLを取りに行くスキル」を特に警戒する：公式も、取得先に悪意ある指示が混ざるリスクと、信頼できたスキルが依存先の変化で後から侵害されるリスクを挙げています。導入時に安全でも、その状態が続くとは限りません。
  • 棚卸しの手順を決める：まずは開発端末に .claude/skills/ や ~/.claude/skills/ があるかを確認するところから。Copilot / Cursor / Codex 等を使っている場合は、それぞれの公式ドキュメントで格納場所を確認してください。
  • 従業員向けの啓発を並行させる：「便利なスキルを拾ってきて入れる」行為が、実質フリーソフトのインストールと同じだと伝えることが出発点です。IPAの対策のしおりが教材に使えます。資産管理・許可ソフトウェアの全体設計は、IPAの中小企業の情報セキュリティ対策ガイドラインが土台になります。

関連する論点は当サイトでも扱っています。あわせてご覧ください。

まとめ

  1. Agent Skill は実行可能コードを含む配布物。Anthropic 発のオープン標準で、GitHub Copilot / VS Code、Cursor、Codex、Gemini CLI など多数の製品が対応しており、「Claude を使っていない」は免罪符にならない。
  2. 検知はまだ実用水準に達していない。査読前研究 MaliciousSkillBench では、未知ソースに対し最良の学習型検知器でも良性の62.4%を誤検知し、誤検知の少ない既製スキャナは悪性の2.5%しか検知できなかった。
  3. ツールより先に入手元の線引きを。claude.ai のカスタムスキルは管理者が一元管理できないと公式に明記されている。棚卸しと「信頼できるソースのみ」の運用ルールが当面の現実解。

出典

タイトルとURLをコピーしました