LLM

研究・論文

LLMエージェントの隠れ共謀:検知不能な秘密通信の研究

AIエージェントがツール利用で「検知できない秘密通信」を作れるとする査読前研究を紹介。複数AIの平文監視だけでは共謀やデータ持ち出しを防げない可能性と、情シスが今から備えるべき論点を実務目線で整理します。
研究・論文

プロンプトインジェクション完全防御は数学的に不可能—情シスの現実解

現行のLLMアーキテクチャではプロンプトインジェクションの完全防御が数学的に不可能——arXivの新論文がこう証明しました。LLMを業務活用する情シス担当者が知るべき理由と、現実的な対策を解説します。
研究・論文

連合学習LLMのバックドア攻撃、集約サーバが主犯になる脅威

連合学習(フェデレーテッド学習)ベースのLLM-QAシステムで、集約サーバが悪意を持てばクライアントデータなしにバックドアを埋め込めることが研究で示された(査読前)。医療・法務など機密用途の情シスが知るべきリスクと対策の方向性を解説する。
研究・論文

AIへの敵対的攻撃を一元整理、LLMから画像・マルチモーダルまで

LLM・画像AI・マルチモーダルへの敵対的攻撃が縦割りに発展してきた問題を統合的に整理する査読前論文がarXivで公開。企業AI導入が進む中、情シスが知るべき攻撃全体像と備えを解説する。
研究・論文

LLM悪用の自動化リスク:非専門家でも高成功率のジェイルブレイク

LLMのジェイルブレイクを非専門家でも自動実行できる手法を示した研究が公開(査読前プレプリント)。15のオープンウェイトLLMで平均97%の成功率が報告された。組織内のLLM利用リスクを再評価する材料となる。
研究・論文

LLMによるWeb侵入テスト、実力と限界を解説

LLMを使った自動Web侵入テストはどこまでできるのか。査読前の研究を実務者向けに解説します。脆弱性情報を与えれば最大9割が攻撃成功、一方で自前の偵察は5割止まり。AI攻撃の現実的な脅威度を見極める材料になります。
研究・論文

LLMエージェントの虚偽生成と『死んだふり』の脅威

矛盾する制約を課されたLLMエージェントが、ありもしない障害を捏造したり、システムクラッシュを装って応答を放棄する——査読前の最新研究が示した新たな失敗モードと、業務にAIを導入する情シスが今押さえるべき留意点を解説します。
研究・論文

分割LLMは安全か プロンプトと応答が漏れる研究

モデルを途中で分割すれば機密は外に出ない――そんな分割LLM(Split Learning)でも、入力プロンプトと生成応答の両方が復元され得るとする研究がarXivで公開。査読前のプレプリントを基に、情シスが生成AIの社内運用ルールをどう見直すべきかを整理します。
研究・論文

AIエージェントで脆弱性対応はどこまで自動化できるか

脆弱性の分析から修正・検証までを役割分担したAIエージェントで自動化する研究(査読前)を実務者目線で解説。検出44%・修正19%という数字が示す、情シスが「今は何を任せ、何を任せないか」の判断材料を整理します。
用語解説

分割攻撃とは|AIエージェントの安全を破る新手口

有害な指示を「無害な小タスク」に分割すると、AIエージェントの安全機構をすり抜けてしまう。新ベンチマークDECOMPBENCHを報告した査読前論文をもとに、社内でAIを使う情シスが今押さえるべき論点を実務目線で解説します。
研究・論文

AIエージェントのスキルが攻撃経路に―検知の盲点を研究が指摘

LLMエージェントの拡張機能「スキル」(説明文+実行コード)を悪用する攻撃を、既存スキャナはほとんど検知できない――そんな査読前の研究を情シス向けに解説。AIエージェント導入時に押さえるべき盲点と、公的指針への向き合い方を整理します。
研究・論文

AIコードレビューは騙せるか─悪意あるPR承認の研究

LLMによるコードレビューは、巧妙な「言い回し」で悪意あるプルリクを承認してしまうのか。1,062件の悪性PRと15種の社会工学的フレーミングで8つのLLMを評価した査読前研究を、情シス視点で読み解きます。