什麼是代理式 AI 安全性？

傳統 AI 系統目的在根據輸入或歷史資料執行特定且預先定義的工作。安全性措施通常聚焦於保護模型、確保訓練資料的安全，以及在運作期間驗證輸出。這些措施有助於組織在既定範圍內維持系統的完整性與可靠性。

代理式 AI 的自主性與決策能力帶來了新的挑戰，而傳統方法並非為應對這些挑戰而設計。主要差異包括：

• 系統行為：傳統 AI 系統回應提示或輸入，而代理式 AI 系統會主動規劃並執行工作。因為 Agent 能夠獨立採取行動，其決策可能會直接影響運作。
• 決策：傳統 AI 通常遵循預先定義的邏輯或模型輸出。代理式 AI 會根據內容與中間結果調整決策，讓行為較難預測，因此更需要持續監視與防護機制。
• 活動範圍：傳統 AI 通常僅在單一應用程式或工作流程中運作。代理式 AI 可以跨越多個系統、工具和資料來源，因而增加錯誤或遭入侵時可能造成的影響範圍。
• 工具使用：傳統 AI 通常依賴預先定義的整合。代理式 AI 可以動態呼叫 API、工具與服務，因此可能產生更多可遭濫用或攻擊的入口點。
• 身分與存取：傳統 AI 可能以共用或隱含的服務身分識別執行。代理式 AI 系統通常需要不同的身分識別與定義的權限，因此身分識別治理與最低權限存取變得至關重要。
• 受攻擊面：傳統 AI 的安全性重點主要在保護模型輸入與訓練資料。代理式 AI 將受攻擊面擴大到工具、工作流程、記憶體與連線系統，進而增加遭濫用或被入侵的風險暴露。

採用結構化流程的組織，更有可能發現、了解並管理系統可能面臨的風險。在代理式 AI 系統進行威脅建模時，重要的是不僅限於應用程式、基礎結構與資料流，還需擴展納入以下面向：

Agent 的目標和行為

透過定義 Agent 預期要執行的工作，發現可能的非預期動作，包括：

• 它可以追求哪些目標。
• 它如何規劃並執行工作。
• 它具備多高的自主性。

身分識別與存取

過於廣泛的存取權限會增加遭入侵或濫用的風險。在設定身分識別時，需評估：

• Agent 可存取哪些系統和資料。
• 權限是否遵循最低權限原則。
• Agent 如何向其他服務進行驗證。

工具和整合

代理式系統會依賴外部工具來完成目標，因此可能會擴大受攻擊面。若要保護您的環境，請定義：

• Agent 可呼叫哪些 API、外掛程式和資料庫。
• 系統是否會驗證工具輸入和輸出。
• 如何授權並限制動作。

輸入和資料來源

Agent 會持續從人員和外部系統接收資訊。若要降低未受信任輸入的風險，請查看：

• 是否暴露於提示插入或惡意輸入。
• 是否發生資料中毒或竄改。
• 內部與外部資料之間的信任界限。

記憶體和狀態

許多 Agent 會隨著時間儲存內容，這可能會放大攻擊的影響範圍。若要降低此風險，請考慮：

• 儲存在記憶體中的資料。
• 是否保留或揭露敏感性資訊。
• 記憶體可能會如何遭到竄改或損壞。

工作完成和動作

若要避免技術風險演變為作業風險，請評估：

• Agent 在未經人員核准的情況下可以執行哪些動作。
• 哪些保護措施可用來限制高風險作業。
• 哪些案例可能導致跨系統連鎖反應的行為。

監視和回應

由於行為會動態變化，因此可見度很重要。能協助即時偵測或控制問題的監視機制包括：

• 記錄決策和動作。
• 偵測異常或原則違規。
• 建立可暫停、覆寫或關閉 Agent 的能力。

在設計與部署流程的早期階段即處理風險，有助於維持信任與作業完整性。當您為代理式 AI 系統建立威脅模型時，您'很可能會發現下列類別中的風險：

自主性風險

因為 Agent 能自主做出決策，因此可能會執行您無法完全預期的行為。單一錯誤就可能在連線系統中觸發一連串自動化步驟，導致非預期的變更、資料問題或作業中斷。自主性也會讓行為更難預測。隨著 Agent 因應新的輸入與條件進行調整，要測試所有案例或依賴固定規則變得更加困難。

安全性風險

與 API、身分識別系統及外部工具的連線會增加暴露風險。如果攻擊者能夠利用這些整合，就可能提升權限或冒充受信任的系統，進而導致資料遺失或作業問題。

安全性和治理風險

代理式 AI 的自主特性讓監督變得格外重要。若缺乏強大的治理機制，將難以追蹤事件發生的過程、了解 Agent 為何做出某個決策，或釐清責任歸屬。

供應鏈和模型風險

代理式 AI 通常仰賴第三方模型、程式庫和工具，以上每一項都會增加額外一層風險。如果其中任何一個元件遭到入侵，都可能影響整個系統。例如，攻擊者可能利用第三方 API 的惡意更新來操控 Agent 的行為。

道德考量

如果缺乏適當的控制措施，Agent 可能會產生帶有偏見的結果，或以不符合隱私權或法規要求的方式處理資料。明確的標準有助於組織落實公平性、透明度與合規性。

您可以專注幾個核心領域，讓 AI 系統更安全、可靠，並與商務目標保持一致。這些支柱有助於您維持對行為、存取權以及與其他系統互動的控制，讓 Agent 能在最低風險下做出決策並執行工作。

身分識別和存取權管理

若要維持問責性與可追蹤性，應將代理式 AI 系統視為第一級身分識別，並將其納入既有的身分識別治理架構中。為每個 Agent 指派唯一認證、強制最低權限存取，並套用強大的驗證機制。

防護機制與原則執行

您可以透過原則型控制措施來為 Agent 行為設定明確界限。防護機制應限制 Agent 可存取的工具、可執行的動作，以及執行條件。透過即時的原則執行機制，有助於防止未經授權或不安全的行為發生。

可檢視性和監視

可檢視性提供 Agent 行為、決策、資料存取和工具使用情況的可見度。它可讓組織偵測異常情況、調查風險，並落實治理，確保 Agent 安全、透明且符合政策地運作。持續監視是偵測 Agent 行為異常的關鍵。請實作可追蹤 Agent 動作、決策和工具使用情況的分析。

資料保護

Agent 在執行工作時，常常會處理敏感性資料。若要降低資料外洩風險，請對傳輸中和靜態資料套用加密、強制執行嚴格的資料最小化做法，並監視未經授權的資料存取。

模型和供應鏈安全性

軟體供應鏈的安全性在代理式 AI 安全性中扮演重要角色。驗證第三方模型、API 和工具是否可信並如預期運作，這一點很重要。對於任何外部元件，請透過程式碼簽署、套件驗證和受信任的散發來源等做法，驗證其來源。

治理和人為監督

最後，若要讓代理式 AI 符合負責任 AI 原則與法規遵循要求，需明確定義允許的行為、責任歸屬，以及如何落實決策。

保護代理式 AI 需要採取主動且多層次的方法，同時處理技術與治理層面的挑戰。一些最佳做法可以協助您建置並擴充系統，在達成商務目標的同時有效管理風險。

從範圍明確且有限的工作開始

先在功能有限的受控環境中部署代理式 AI。將 Agent 指派給低風險且定義清楚的工作，有助於在發生問題時將影響降到最低。

針對 Agent 動作使用沙箱環境

若要降低對生產環境與敏感性資料造成的風險，應將 Agent 作業隔離在沙箱或虛擬化環境中。 套用資料分類控制 (例如敏感度標籤)，確保 Agent能依據分類與敏感度僅與經核准的資料互動。

實作多層次防護機制

動態系統的監視與控管可能較為複雜，但您可以透過定義 Agent 可存取的工具、可執行的動作以及執行條件來限制其行為。 為 Agent 指派不同的身分識別，並強制執行角色型存取控制來控管其可存取的資料與系統。若要達到最佳控管效果，應結合靜態原則與動態執行階段檢查機制。

持續測試提示插入和越獄

因為代理式 AI 具備自主行動能力，並能將多個動作串聯執行，因此攻擊者可能會操縱其某個輸入，使其產生不安全或非預期的行為。定期進行紅隊演練與對抗性測試，以在攻擊者之前發現系統弱點。

建立升級路徑與治理流程

為高風險行為建立清楚的升級程序。對於敏感性作業，例如金融交易或系統設定變更，應實作人為介入檢查點。

遵守負責任 AI 原則

透過納入偏見測試、可解釋性審查與合規性驗證，確保 Agent 遵循倫理標準、公平性準則與法規要求。AI 與資料隱私權法規持續演進，因此建議定期重新評估系統是否仍能跟上最新規定。

並非所有代理式 AI 使用案例都具有相同風險。了解低風險與高風險案例之間的差異，有助於您優先決定從何處開始，以及實作施哪些控制措施。兩個常見的代理式 AI 安全性使用案例可說明其中的差異：

客戶支援分流 (低風險)

在此案例中，代理式 AI 系統協助客戶支援團隊分類進來的票證、提供回覆，並將問題轉發至正確的部門。

• 為什麼這是低風險：
  • Agent 在受控環境中運作。
  • 行為僅限於票證分類與回覆建議。
  • 不直接存取敏感性財務或營運系統。
• 安全性考量：
  • 套用防護機制，防止 Agent 在未經核准的情況下升級票證。
  • 監控提示插入攻擊，避免影響票證轉派。

金融交易自動化 (高風險)

在此案例中，代理式 AI 系統獲授權可根據預先定義的商務規則初始化並核准金融交易。

• 為什麼這是高風險：
  • Agent直接存取金融系統和敏感性資料。
  • 如果遭到入侵，可能會出現大規模詐騙或作業中斷。
• 安全性考量：
  • 對 Agent 強制實施嚴格的身分識別與存取權管理。
  • 對高價值交易實作人為介入審核機制。
  • 持續監控異常交易模式。

在部署或擴充代理式 AI 系統之前，請花一些時間，從幾個關鍵領域再次確認組織的準備狀況：

• 治理成熟度。是否已建立升級路徑與審核工作流程？
• 身分識別控制。是否將 Agent 視為具唯一身分識別並採用最低權限存取？
• 監視能力。組織是否能即時偵測並回應 Agent 的異常行為？
• 風險承受度。企業是否了解並接受在特定使用案例中 Agent 自主性可能帶來的影響？

透過從低風險案例開始，並逐步將代理式 AI 導入更複雜的工作流程，組織可以在維持安全性與合規性的同時建立信心。

保護代理式 AI 是以負責任方式採用自主系統的核心環節。隨著這些系統承擔更多決策責任並跨環境連線，它們也帶來了傳統安全性方法無法設計應對的風險。身分識別治理、明確的原則執行以及持續監視，在確保系統與商務意圖及合規性要求一致方面都扮演重要角色。透過採取主動式策略，您可以維持信任、降低新興威脅的暴露風險，並將自主行為控制在既定範圍內。

您可以透過 Microsoft 提供的一套整合式代理式 AI 安全性解決方案，在組織內支援更安全的 AI 部署。Microsoft 安全性結合了身分識別與存取權管理、威脅偵測、資料保護與治理能力，協助您維持對自主系統的掌控。透過內建的網路安全性 AI，您可以加速調查速度，並協助團隊更高效地共同作業。這些解決方案共同構成一個實務基礎，用於管理風險、保護 AI 系統，並支援負責任地使用代理式 AI。