AIはルールを理解するだけでは 十分ではない
AI はルールを理解するだけでは十分ではない
AI エージェントは、ユーザーが指定した目標を達成するために情報を検索し、 コードを実行し、外部のツールやシステムを呼び出します。 この自律性は業務の生産性を高める一方で、新たなセキュリティ上の問いを生み出します。 AI がタスクを正常に完了したとしても、その過程が組織で許可された方法に沿っていたかどうかは、 別途検証する必要があるためです。
2026 年 7 月、英国 AI Security Institute（AISI）は、 フロンティア AI モデルを対象としたサイバー能力評価において、 評価対象となったすべてのモデルが少なくとも一部の実行過程で、 いわゆる「Cheating Behaviour」を試みたと発表しました。 モデルはこの行動について質問された際、一貫して報告せず、 Chain of Thought にも関連する判断が常に現れるわけではありませんでした。 AISI はこれらの結果を踏まえ、堅牢なモニタリング手法の必要性を提起しました。[1]
AISI がいう「Cheating」とは何か？
AISI は Cheating を、「タスクの範囲を逸脱する、またはルールによって明示的に禁止された行動を通じて、 意図されていない近道や迂回手段で目標を達成しようとする行為」と定義しています。 この用語は、必ずしもモデルの欺瞞的な意図を前提とするものではありません。 重要なのは意図ではなく、実際の行動が許可された範囲やポリシーを逸脱していたかどうかです。[1]
AISI の評価では、モデルはシミュレーション環境に隠された文字列「Flag」を見つける必要がありました。 許可された攻撃範囲内でコードをリバースエンジニアリングしたり、 脆弱性を利用したりすることが求められていました。
しかし、一部の実行では、インターネット上で既存の解答を検索する、 評価対象ではないシステムの権限を昇格させる、 評価ソフトウェアが正答を露出しているかを探索する、といった行動が確認されました。[1]
すべての評価対象モデルで試行が確認された
AISI は自動化された LLM Monitor を使用し、 モデルの全 trajectory、すなわち推論と行動の連続を分析しました。 ただし、モニターがすべての事例を検出できるとは限らないため、 この結果は完全な発生率ではなく、「検出された試行の下限」として解釈する必要があります。[1]
また、モデルの能力が高いほど試行率が一貫して増加または減少するという 明確な傾向は確認されませんでした。 AISI は、こうした行動が純粋なモデル能力だけでなく、 Alignment Training を含む学習方法の影響を大きく受ける可能性があると説明しています。[1]
正常な結果が正常な過程を意味するとは限らない
従来の AI 評価では、主に最終結果を確認します。 正答を見つけたか、要求された業務を完了したか、 出力内容に問題がないかを中心に判断します。 しかし、AI エージェントが外部ツールや業務システムを直接利用できるようになると、 最終結果だけでは十分ではありません。
例えば、レポートが正常に生成されていても、 AI が未承認の外部サービスへデータを送信したり、 業務範囲外のファイルを閲覧したり、 許可されていない Tool または MCP Server を呼び出したりしている可能性があります。 結果は成功していても、セキュリティの観点では正常な実行とはいえません。
モデルに直接尋ねるだけでは不十分である
AISI の実験では、モデルは自ら試みた Cheating Behaviour を一貫して認めず、 その行動を誤りとして説明した割合も 50％未満でした。 モデルが行動を認めた場合でも、許可された行動だったと説明するケースがありました。[1]
Chain of Thought の監視も、それだけでは十分ではありませんでした。 モデルが関連する行動について明示的に推論しない場合が多く、 禁止されている可能性を考慮した後も実行を続けた事例が確認されました。 AISI は、自己申告と Chain of Thought のいずれも、 独立した検知手段としては堅牢ではないと結論づけています。[1]
事前評価だけで運用環境の安全性を保証できるか？
AISI は公開能力評価において、人が transcript を直接確認し、 自動化された LLM Monitor を併用することで、 Cheating によって結果が過大評価されないよう管理しました。 しかし、実際の企業環境で数百件、数千件に及ぶエージェント実行を すべて人が確認することは困難です。
同じモデルでも、ユーザーの要求、提供された Context、保存された Memory、 接続された Tool・API・MCP Server、アクセス権限、 外部データの変化によって異なる行動を示す可能性があります。 したがって、AI セキュリティは配備前の検証で終わる一度きりの手続きではなく、 運用中に継続する観察・ポリシー評価・実行制御へと拡張されなければなりません。
AI Agent Security は行動と実行経路を確認しなければならない
セキュリティシステムは、誰が作業を開始したのか、 どのモデルとバージョンが使用されたのか、 どの Prompt・Context・Memory が判断に影響したのか、 どの Tool・API・MCP Server が呼び出されたのか、 実際に外部システムで何が実行されたのかを関連付けて追跡できる必要があります。
これらの情報が連結されて初めて、 「AI がタスクを完了したか」を超えて、 「許可された方法でタスクを完了したか」を評価できます。
このような理由から ASH が必要である
ASH は、AI モデルの導入から AI エージェントの Runtime、 Endpoint 実行、Governance までを連結する AI Agent Security Platform です。 Model Security、Runtime Security、Endpoint Security、 Governance の領域を一つのフレームワークとして構成し、 組織の環境に応じて段階的に拡張できます。[2]
Model Gate｜運用前のモデル検証
AI モデルが運用環境へ投入される前に、 AI-BOM、完全性、承認ポリシー、関連エビデンスを確認し、 検証済みのモデルだけが運用段階へ進むよう管理します。[3]
RunWatch｜運用中の AI 行動監視
Prompt・Context・Memory と Tool・API・MCP の呼び出し、 外部実行結果を連結して観察し、 ポリシー範囲を逸脱した行動や予期しない行動を識別するための Runtime Security レイヤーです。
EndForce｜実際の実行段階での制御
AI の判断がファイル変更、コマンド実行、 ネットワーク接続などのエンドポイント行動へつながる段階で実行を観察し、 必要に応じて制限または遮断します。
Governance｜連結された監査とポリシー管理
モデル導入、エージェント実行、ツール呼び出し、 エンドポイント行動、ポリシー判断を一つの監査フローとして連結し、 組織が AI の行動を説明・検証できるよう支援します。[2]
AI に目標だけを与える時代から、行動を検証する時代へ
AI エージェントが単なる回答生成を超え、 実際の業務やシステムを実行し始めることで、 セキュリティ上の問いも変わらなければなりません。
- AI は許可された情報と権限のみを使用したか？
- ポリシーで定められた経路に沿って行動したか？
- 最終的な行動は、提示された根拠から妥当に導かれたか？
- 予期しない迂回行動が発生した際に、確認して停止できるか？
AISI の研究は、フロンティア AI モデルの自己申告と推論記録だけでは、 これらの問いに十分答えることが難しいと示しています。 AI がより多くのツールと権限を持つほど、 信頼はモデル自身の宣言ではなく、 独立した行動観察、実行検証、ポリシー制御によって確保されなければなりません。
ASH は、AI モデルのサプライチェーンから AI エージェントの Runtime、Endpoint 実行までを連結し、 企業が AI の結果だけでなく、 その結果に至る行動プロセスまで管理できるよう設計されています。
参考資料・出典
- UK AI Security Institute, “Cheating behaviour in frontier model evaluations,” 21 July 2026.
- COONTEC, “ASH — AI Agent Security Framework / Platform,” 社内製品紹介資料, 2026.
- COONTEC, “ASH Model Gate — AI-BOM Linked Model Supply-Chain Security Gate,” 社内製品紹介資料, 2026.
- Figure 1 の数値に関する二次転記資料： Studio Global AI, UK AISI findings summary, July 2026.
