エージェント AI セキュリティとは?

従来の AI システムは、入力データまたは履歴データに基づいて、特定の定義済みタスクを実行するように設計されています。通常、セキュリティ対策は、モデルの保護、トレーニング データの保護、運用中の出力の検証に重点を置いています。これらの対策は、組織が定義された範囲内で整合性と信頼性を維持するのに役立ちます。

エージェント AI の自律性と意思決定機能は、従来のアプローチでは対処できるように設計されていない課題をもたらします。主な違いは次のとおりです:

• システム動作: 従来の AI システムはプロンプトまたは入力に応答しますが、エージェント AI システムは能動的にタスクを計画および実行します。エージェントは独立してアクションを実行できるため、その決定は直接的に業務に影響を与える可能性があります。
• 意思決定: 従来の AI は、通常、事前に定義されたロジックまたはモデルの出力に従います。エージェント AI は、コンテキストと中間結果に基づいて判断を適応させるため、動作の予測が難しくなり、継続的な監視とガードレールの必要性を高めます。
• 活動範囲: 多くの場合、従来の AI は、単一のアプリケーションまたはワークフロー内で動作します。エージェント AI は、複数のシステム、ツール、およびデータ ソースにまたがって動作するため、エラーや侵害の潜在的な影響度が増します。
• ツールの使用: 従来の AI は、通常、事前に定義された統合に依存します。エージェント AI は、API、ツール、サービスを動的に呼び出し、悪用や攻撃の侵入経路が増えます。
• ID とアクセス: 従来の AI は、共用または暗黙的なサービス ID で実行できます。エージェント AI システムには通常、個別の ID と定義されたアクセス許可が必要なため、ID ガバナンスと最小特権アクセスが不可欠になります。
• 攻撃面: 従来の AI セキュリティでは、主にモデル入力とトレーニング データの保護に重点を置きます。エージェント AI は、ツール、ワークフロー、メモリ、接続されたシステムを含めて攻撃面が拡大し、悪用や侵害にさらされる可能性を高めます。

構造化されたプロセスを使用する組織は、システムが直面する可能性のあるリスクを特定、理解、管理でいる可能性が高くなります。エージェント AI システムにおける脅威をモデル化する場合は、アプリケーション、インフラストラクチャ、データ フローに加えて、次の項目も含めて考慮することが重要です:

エージェントの目標と動作

行う可能性のある意図しない行動を特定するには、次に示す内容を含めてエージェントの動作を定義します:

• どのような目的を追求ことができるか。
• タスクの計画と実行方法。
• どの程度の自律性があるか。

ID およびアクセス管理

アクセス権が広範になりすぎると、侵害や悪用のリスクが高まります。ID を設定するときは、次の点を評価します:

• エージェントがアクセスできるシステムとデータ。
• アクセス許可が最小特権の原則に従っているかどうか。
• エージェントが他のサービスに対してどのように認証するか。

ツールと統合

エージェント システムは、目標を達成するために外部ツールを利用するため、攻撃面が拡大する可能性があります。環境を保護するには、次を定義します:

• エージェントが呼び出すことができる API、プラグイン、データベース。
• ツールの入力と出力が検証されるかどうか。
• アクションの承認方法と制約方法。

入力 およびデータ ソース

エージェントは、継続的に人や外部システムから情報を取り込みます。信頼できない入力のリスクを軽減するには、次を確認してください:

• プロンプト インジェクションまたは悪意のある入力への露出。
• データ ポイズニングや改ざん。
• 内部データと外部データの信頼境界。

メモリと 状態

多くのエージェントは、時間の経過と共にコンテキストを保存するため、攻撃による影響が大きくなる可能性があります。このリスクを軽減するには、次の点を考慮してください:

• どのようなデータがメモリに格納されるか。
• 機密情報が保持されるか、公開されるか。
• メモリがどのように変更されたり破損するか。

タスクの完了とアクション

技術的なリスクが運用上のリスクにならないようにするには、次の点を評価します:

• エージェントが人間の承認なしに実行できるアクション。
• 高リスクの操作を制限するのに役立つセーフガード。
• どのシナリオがシステム全体に連鎖するアクションにつながる可能性があるか。

監視と応答

動作が動的であるため、可視性が重要です。リアルタイムで問題を検出または封じ込めるのに役立つ監視には、次のようなものがあります:

• 意思決定とアクションのログ記録。
• 異常やポリシー違反の検出。
• エージェントを一時停止、オーバーライド、またはシャットダウンする機能を用意すること。

設計および展開プロセスの早い段階でリスクに対処することは、信頼と運用の整合性を維持するのに役立ちます。エージェント AI システムに対する脅威をモデル化することで、次のようなカテゴリでリスクを特定できる可能性があります:'

自律性リスク

エージェントは自律的に意思決定を行うため、完全には予測できないアクションを実行する可能性があります。1 つのエラーによって、接続されているシステム全体で自動化された一連の手順がトリガーされ、意図しない変更、データの問題、運用の中断が発生する可能性があります。また、自律性により、動作の予測可能性も低下します。エージェントが新しい入力や条件に適応するにつれて、すべてのシナリオをテストしたり、固定ルールに依存したりすることが困難になります。

セキュリティ リスク

API、ID システム、外部ツールへの接続は、露出を増やします。攻撃者がこれらの統合を悪用できる場合、アクセス権をエスカレートしたり、信頼できるシステムになりすましたりして、データ損失や運用上の問題が発生する可能性があります。

安全性とガバナンスのリスク

エージェント AI の自律的な性質により、監視が非常に重要になります。強力なガバナンスがないと、何が起こったかを追跡したり、エージェントが下した決定の理由を理解したり、誰に責任があるかを判断したりすることが困難になります。

サプライ チェーンとモデルのリスク

エージェント AI は、多くの場合、サードパーティのモデル、ライブラリ、ツールに依存しており、それぞれが別のリスクを追加します。これらのコンポーネントのいずれかが侵害された場合、システム全体に影響を与える可能性があります。たとえば、攻撃者はサード パーティ製 API に対して悪意のある更新を使用することでエージェントの動作を操作する可能性があります。

倫理面での考慮事項

適切な制御がないと、エージェントは偏った結果を生み出したり、プライバシーや規制上の要件に反する方法でデータを処理したりする可能性があります。明確な基準は、公平性、透明性、コンプライアンスを適用するのに役立ちます。

いくつかの主要な領域に焦点を当てることで、AI システムを安全で信頼性が高く、ビジネス目標に合致したものすることができます。これらの柱により、他のシステムとの動作、アクセス、やり取りを制御し続けることができるようになり、エージェントは最小限のリスクで意思決定を行い、タスクを実行できます。

ID およびアクセス管理

アカウンタビリティと追跡可能性を維持するには、エージェント AI システムをファースト クラスの ID として扱い、既存の ID ガバナンス フレームワークに組み込みます。各エージェントに一意の資格情報を割り当て、最小特権アクセスを適用し、強力な認証メカニズムを適用します。

ガードレールとポリシーの適用

ポリシー ベースの制御を使用して、エージェントの動作の明示的な境界を設定できます。ガードレールは、エージェントがアクセスできるツール、実行できるアクション、およびそれらの条件を制限する必要があります。リアルタイムのポリシー適用は、承認されていないアクションや安全でないアクションを防ぐのに役立ちます。

監視と監視

監視により、エージェントの動作、決定、データへのアクセス、ツールの使用状況を可視化できます。これにより、組織は異常を検出し、リスクを調査し、ガバナンスを適用して、エージェントが安全性と透明性を保ち、ポリシーに沿って動作できるようにします。エージェントの動作の異常を検出するには、継続的な監視が重要です。エージェントのアクション、意思決定、およびツールの使用状況を追跡する分析を実装します。

データ保護

エージェントは、タスクの実行中に機密データを取り扱うことがよくあります。漏洩のリスクを軽減するには、転送中および保存中のデータに暗号化を適用し、厳密なデータ最小化プラクティスを徹底し、承認されていないデータ アクセスを監視します。

モデルとサプライ チェーンのセキュリティ

ソフトウェア サプライ チェーンのセキュリティは、エージェント AI セキュリティにおいて大きな役割を果たします。サード パーティ製のモデル、API、ツールが信頼でき、想定どおりに動作していることを検証することが重要です。外部コンポーネントについては、コード署名、パッケージ検証、信頼できる配布ソースなどのプラクティスを通じて来歴を検証します。

ガバナンスと人間による監視

最後に、エージェント AI を責任ある AI の原則と規制コンプライアンスの要件に沿わせるために、許可されるアクション、責任者、意思決定の適用方法を決定します。

エージェント AI をセキュリティで保護するには、技術的な課題とガバナンスの両方の課題に対処する、積極的で多層化されたアプローチが必要です。いくつかのベスト プラクティスは、リスクを管理しながらビジネス目標を達成するためのシステムの構築とスケーリングに役立ちます。

範囲が狭く、明確なタスクから始める

まず、制御された環境に機能が限定されたエージェント AI をデプロイします。リスクが低く、明確に定義されたタスクにエージェントを割り当てることで、問題が発生した場合の影響を最小限に抑えることができます。

エージェントのアクションにサンドボックス環境を使用する

運用環境と機密データに対するリスクを軽減するには、サンドボックス環境または仮想化された環境にエージェントの操作を分離します。 機密ラベルなどのデータ分類コントロールを適用して、エージェントが分類と機密度に基づいて承認されたデータとのみやり取りするようにします。

多層のガードレールを実装する

動的システムの監視と制御は難しい場合がありますが、エージェントがアクセスできるツール、実行できるアクション、およびその条件を定義することでエージェントの動作を制限できます。 エージェントに個別の ID を割り当て、ロールベースのアクセス制御を適用して、アクセスできるデータとシステムを制御します。最大限の制御を実現するには、静的ポリシーと動的ランタイム チェックを組み合わせます。

プロンプト インジェクションと脱獄を継続的にテストする

エージェント AI は自律的に行動し、複数のアクションを連結できるため、攻撃者がその入力の 1 つを操作して、安全でない方法または意図しない動作を引き起こすリスクがあります。定期的にレッド チーミング演習と敵対的テストを実施し、攻撃者より先に弱点を見つけます。

エスカレーション パスとガバナンス ワークフローを確立する

リスクの高いアクションに関する明確なエスカレーション手順を作成します。財務取引やシステム構成の変更などの機密性の高い操作には、human-in-the-loop チェックポイントを実装します。

責任ある AI の原則に沿わせる

バイアス テスト、説明可能性レビュー、コンプライアンス検証を組み込むことで、倫理基準、公平性ガイドライン、規制要件に準拠するエージェントを構築します。AI とデータ プライバシーに関する法律は常に進化しているため、システムがどの程度追随できているかを定期的に再評価することをおすすめします。

すべてのエージェント AI ユース ケースに同じリスクがあるわけではありません。低リスクのシナリオと高リスクのシナリオの違いを理解すると、どこから始めるべきか、どの制御の実装を優先すべきかを決定するのに役立ちます。2 つの一般的なエージェント AI セキュリティのユース ケースで、違いを見てみましょう:

カスタマー サポートのトリアージ (低リスク)

このシナリオでは、エージェント AI システムは、受信したチケットを分類し、応答を提案し、問題を適切な部門にルーティングすることで、カスタマー サポート チームを支援します。

• リスクが低い理由:
  • エージェントは、制御された環境内で動作します。
  • アクションはチケットの分類と応答の提案に限定されます。
  • 機密性の高い財務システムや運用システムに直接アクセスすることはありません。
• セキュリティに関する考慮事項:
  • ガードレールを適用して、エージェントが承認なしにチケットをエスカレートできないようにします。
  • チケットのルーティングを操作する可能性のあるプロンプト インジェクションの試行を監視します。

金融取引の自動化 (高リスク)

ここでは、エージェント AI システムは、事前に定義されたビジネス ルールに基づいて財務取引を開始し、承認する権限を持っています。

• リスクが高い理由:
  • エージェントは、金融システムと機密データに直接アクセスできます。
  • 侵害された場合、大規模な不正行為や運用の混乱が引き起こされる可能性があります。
• セキュリティに関する考慮事項:
  • エージェントに対して厳密な ID とアクセス管理を適用します。
  • 高額の取引には human-in-the-loop 承認を実装します。
  • 異常な取引パターンを継続的に監視します。

エージェント AI システムをデプロイまたはスケーリングする前に、いくつかの重要な領域における組織の準備状況を再確認する時間を設けてください:

• ガバナンスの成熟度。エスカレーション パスと承認ワークフローは整備されていますか?
• ID 制御。エージェントは、最小特権アクセス権を持つ固有の ID として扱われていますか?
• 監視機能。組織はエージェントの異常な動作をリアルタイムで検出して対応できますか?
• リスク許容度。選択したユース ケースにおけるエージェントの自律性による潜在的な影響へのビジネスを理解し、受け入れていますか?

まずはリスクの低いシナリオから始め、徐々にエージェント AI をより複雑なワークフローに段階的に導入することで、組織はセキュリティとコンプライアンスを維持しながら自信を築くことができます。

エージェント AI のセキュリティ保護は、責任ある方法で自律システムを導入する上で最も重要な部分です。これらのシステムが、より多くの意思決定を行い、様々な環境間でつながりを持つようになるにつれて、従来のセキュリティアプローチが管理するように設計されていなかったリスクが生まれます。ID ガバナンス、明確なポリシー適用、継続的な監視は、システムをビジネスの意図とコンプライアンスの要件に合わせて維持する上で役立ちます。積極的なアプローチを採用することで、信頼を維持し、新たな脅威にさらされる可能性を減らし、定義された境界内での自律動作を維持することができます。

Microsoft の一連の統合的エージェント AI セキュリティ ソリューションを使用すると、組織内でより安全な AI 展開を支援できます。Microsoft Security は、ID とアクセス管理、脅威検出、データ保護およびガバナンス機能を組み合わせ、自律システムの制御を維持するのに役立ちます。サイバーセキュリティのための AI が組み込まれており、調査を迅速化し、チームの連携をより効率的に行えるようにすることができます。これらのソリューションを組み合わせることで、リスクの管理、AI システムの保護、エージェント AI の責任ある使用を支援するための実用的な基盤が得られます。