什么是智能体 AI 安全？

传统 AI 系统旨在根据输入或历史数据执行特定的预定义任务。安全工作通常聚焦于保护模型、保障训练数据安全并验证运行期间的输出。这些措施有助于组织在定义的范围内保持系统完整性和可靠性。

智能体 AI 的自主性和决策能力带来了传统方法无法应对的挑战。主要区别包括：

• 系统行为：传统 AI 系统对提示或输入做出响应，而智能体 AI 系统主动规划并执行任务。由于智能体能够独立执行操作，其决策会直接产生运营影响。
• 决策方式：传统 AI 通常遵循预定义逻辑或模型输出。智能体 AI 根据上下文和中间结果调整决策，这让行为更难预测，因此更需要持续监视和防护措施。
• 活动范围：传统 AI 通常在单一应用程序或工作流内运行。智能体 AI 可跨多个系统、工具和数据源运行，这使得错误或入侵的潜在影响更大。
• 工具使用：传统 AI 通常依赖预定义集成。智能体 AI 可动态调用 API、工具和服务，这为滥用或攻击创造了更多入口点。
• 身份验证和访问控制：传统 AI 可能使用共享或隐式服务身份运行。智能体 AI 系统通常需要独立身份和明确的权限，因此身份治理和最小权限访问至关重要。
• 攻击面：传统 AI 安全主要聚焦于保护模型输入和训练数据。智能体 AI 将攻击面扩展至工具、工作流、内存和连接的系统，增加了滥用和入侵的风险。

采用结构化流程的组织更能识别、理解并管理系统可能面临的风险。在为智能体 AI 系统进行威胁建模时，重要的是将范围扩展到应用、基础结构和数据流，包括：

智能体的目标和行为

通过明确智能体的设计用途来识别潜在的非预期操作，包括：

• 它可追求的目标。
• 它规划和执行任务的方式。
• 它具备的自主程度。

身份验证和访问控制

访问权限过于宽泛会增加遭到入侵或滥用的风险。设置身份时，需要评估：

• 智能体可访问的系统和数据。
• 权限是否遵循最小权限原则。
• 智能体向其他服务进行身份验证的方式。

工具和集成

智能体系统依赖外部工具来完成目标，这会扩大攻击面。为了保护环境，需要明确：

• 智能体可调用的 API、插件和数据库。
• 工具输入和输出是否经过验证。
• 操作如何获得授权并受到约束。

输入和数据源

智能体持续从人工和外部系统获取信息。为了降低不受信任输入的风险，需要关注：

• 面临提示注入或恶意输入的风险。
• 数据投毒或篡改。
• 内部和外部数据之间的信任边界。

记忆和状态

许多智能体会随着时间推移保存上下文，这会放大攻击的影响。为了降低此风险，需要考虑：

• 记忆中存储的具体数据。
• 敏感信息是否被保留或泄露。
• 记忆被篡改或破坏的方式。

任务完成和操作

为了帮助防止技术风险转化为业务风险，需要评估：

• 智能体无需人工批准即可执行的操作。
• 有助于限制高风险操作的防护措施。
• 可能导致操作跨系统级联影响的场景。

监视和响应

由于行为是动态的，可见性至关重要。可帮助实时检测或遏制问题的监视措施包括：

• 记录决策和操作。
• 检测异常或策略违规行为。
• 建立暂停、覆盖或关闭智能体的能力。

在设计和部署流程尽早解决风险，有助于你保持信任和运营完整性。在为智能体 AI 系统进行威胁建模时，你可能会发现以下类别的风险：

自主风险

由于智能体会自主决策，因此可能会执行你无法完全预见的操作。单个错误就可能触发跨关联系统的自动化操作链，导致意外变更、数据问题或运营中断。自主性也使行为更难预测。随着智能体适应新的输入和条件，测试所有场景或依赖固定规则变得更加困难。

安全风险

与 API、身份系统和外部工具的连接增加了风险暴露面。如果攻击者能够利用这些集成，他们就可能提升访问权限或冒充受信任的系统，从而导致数据丢失或运营问题。

安全和治理风险

智能体 AI 的自主性使监督变得至关重要。如果没有强有力的治理，将很难跟踪发生的情况、理解智能体决策的原因或确定责任归属。

供应链和模型风险

智能体 AI 通常依赖第三方模型、库和工具，而每一项都会增加一层风险。如果其中一个组件遭到入侵，可能会影响整个系统。例如，攻击者可通过第三方 API 的恶意更新操控智能体行为。

道德考量

如果没有适当的控制，智能体可能产生偏见结果，或数据处理的方式违反隐私或法规要求。明确的标准有助于组织落实公平性、透明度和合规性。

通过专注几个核心领域，可帮助你让 AI 系统安全、可靠，并与业务目标保持一致。这些支柱让你能够保持对智能体行为、访问权限和与其他系统交互的控制，使智能体以最低风险做出决策并执行任务。

身份和访问管理

为保持问责制和可追溯性，需将智能体 AI 系统视为主要身份，并将其纳入现有身份治理框架。为每个智能体分配唯一凭据，实施最小权限访问，并应用强身份验证机制。

防护措施和策略执行

你可通过基于策略的控制，为智能体行为设定明确边界。防护措施应限制智能体可访问的工具、可执行的操作及适用条件。实时策略执行有助于防止未经授权或不安全的操作。

可观测性和监视

可观测性可让你深入了解智能体行为、决策、数据访问和工具使用情况。它使组织能够检测异常、调查风险并落实治理，确保智能体安全、透明且符合策略。持续监视是检测智能体行为异常的关键。部署分析功能，跟踪智能体操作、决策和工具使用情况。

数据保护

智能体在执行任务时通常会处理敏感数据。为了降低泄露风险，需对传输中和静态数据加密，实施严格的数据最小化原则，并监视未经授权的数据访问。

模型和供应链安全

软件供应链的安全对智能体 AI 安全至关重要。验证第三方模型、API 和工具是否可信且行为符合预期至关重要。对于所有外部组件，通过代码签名、包验证和可信分发渠道等方式验证来源。

治理和人工监督

最后，为了使智能体 AI 符合负责任 AI 原则和法规合规要求，需要确定允许的操作、责任归属和决策执行方式。

保障智能体 AI 安全需要一种主动分层的方法，同时应对技术和治理挑战。一些最佳做法可帮助你构建并扩展系统，在管理风险的同时实现业务目标。

从范围明确的有限任务开始

首先在功能有限的受控环境中部署智能体 AI。将智能体分配到低风险、定义明确的任务，有助于你在出现问题时将影响降到最低。

为智能体操作使用沙盒环境

为了降低生产环境和敏感数据的风险，需将智能体操作隔离在沙盒或虚拟化环境中。 应用数据分类控制（例如敏感度标签），确保智能体仅根据分类和敏感度处理已批准的数据。

实施分层防护措施

监视和控制动态系统颇具挑战，但你可通过明确智能体可访问的工具、可执行的操作及适用条件来限制其行为。 为智能体分配不同的身份，并实施基于角色的访问控制，管理其可访问的数据和系统。为了实现最大管理效果，需要将静态策略和动态运行时检查相结合。

持续测试提示注入和越狱风险

由于智能体 AI 能够自主行动并串联多个操作，攻击者可能会操控其中一个输入，使其以不安全或非预期的方式运行。定期开展红队演练和对抗性测试，在攻击者发现漏洞前找到薄弱环节。

建立升级路径和治理工作流

为高风险操作建立明确的升级流程。对于金融交易或系统配置变更等敏感操作，实施人工介入检查点。

符合负责任 AI 原则

通过纳入偏见测试、可解释性审查和合规性验证，构建符合道德标准、公平准则和法规要求的智能体。AI 和数据隐私法律在不断演变，因此最好定期重新评估系统的合规适配情况。

并非所有智能体 AI 用例都有相同的风险。了解低风险与高风险场景的区别，可帮助你确定优先从哪里开始以及应实施哪些控制措施。以下两个常见智能体 AI 安全用例可说明区别：

客户支持会审（低风险）

在此场景中，智能体 AI 系统协助客户支持团队对传入工单进行分类、提供回复建议并将问题路由至适当的部门。

• 为什么这是低风险：
  • 智能体在受控环境中运行。
  • 操作仅限于工单分类和回复建议。
  • 无法直接访问敏感的财务或业务系统。
• 安全注意事项：
  • 应用防护措施，防止智能体在未经批准的情况下升级工单。
  • 监视可能操控工单路由的提示注入尝试。

金融交易自动化（高风险）

在此场景中，智能体 AI 系统获授权可根据预定义的业务规则发起并批准金融交易。

• 为什么这是高风险：
  • 智能体可直接访问金融系统和敏感数据。
  • 如果遭到入侵，可能会导致大规模欺诈或运营中断。
• 安全注意事项：
  • 为智能体实施严格的身份和访问管理。
  • 对高价值交易实施人工介入审批。
  • 持续监视异常交易模式。

在部署或扩展智能体 AI 系统之前，请花些时间在下面几个关键领域复核组织的准备情况：

• 治理成熟度。是否已建立升级路径和审批工作流？
• 身份控制。智能体是否被视为具备最小权限的唯一身份？
• 监视能力。组织是否能够实时检测并响应智能体异常行为？
• 风险容忍度。业务方是否理解并接受所选用例中智能体自主性的潜在影响？

从低风险场景开始，逐步将智能体 AI 引入更复杂的工作流，你的组织可在保持安全和合规的同时建立信心。

保障智能体 AI 安全是以负责任的方式采用自主系统的核心环节。随着这些系统承担更多决策任务并跨环境连接，它们带来了传统安全方法无法管理的风险。身份治理、明确策略执行和持续监视，在帮助系统符合业务意图和合规要求方面发挥着重要作用。通过采取主动方法，你将帮助维持信任、降低新兴威胁的风险，并将自主行为控制在限定范围内。

借助一套 Microsoft 统一智能体 AI 安全解决方案，你可支持组织更安全地部署 AI。Microsoft 安全整合了身份和访问管理、威胁检测、数据保护和治理能力，帮助你保持对自主系统的控制。借助内置网络安全 AI，你可加快调查速度并帮助团队更高效地协同工作。这些解决方案共同为风险管理、AI 系统保护和智能体 AI 负责任使用提供实用基础。