Vad är säkerhet för agentbaserad AI?

Traditionella AI-system är utformade för att utföra specifika, fördefinierade uppgifter baserat på indata eller historiska data. Säkerhetsarbetet fokuserar vanligtvis på att skydda modeller, skydda träningsdata och validera utdata under drift. De här åtgärderna hjälper organisationer att upprätthålla integritet och tillförlitlighet inom ett definierat omfång.

Autonomi och beslutsförmåga i agentbaserad AI medför utmaningar som traditionella arbetssätt inte var utformade för att hantera. De viktigaste skillnaderna är:

• Systemets funktionssätt: Traditionella AI-system svarar på uppmaningar eller indata, medan agentbaserade AI-system aktivt planerar och utför uppgifter. Eftersom agenter kan agera självständigt kan deras beslut få direkt påverkan på driften.
• Beslutsfattande: Traditionell AI följer vanligtvis fördefinierad logik eller modellutdata. Agentbaserad AI anpassar beslut utifrån sammanhang och löpande resultat, vilket gör funktionssättet mindre förutsägbart och ökar behovet av kontinuerlig övervakning och skyddsräcken.
• Omfattning av aktivitet: Traditionell AI fungerar ofta inom en enda app eller ett enda arbetsflöde. Agentbaserad AI kan omfatta flera system, verktyg och datakällor, vilket ökar den potentiella effekten av fel eller kompromettering.
• Verktygsanvändning: Traditionell AI förlitar sig i allmänhet på fördefinierade integreringar. Agentbaserad AI kan dynamiskt anropa API:er, verktyg och tjänster, vilket skapar fler startpunkter för skadligt utnyttjande eller angrepp.
• Identitet och åtkomst: Traditionell AI kan köras under delade eller implicita tjänstidentiteter. Agentbaserade AI-system kräver vanligtvis distinkta identiteter och definierade behörigheter, vilket gör identitetsstyrning och åtkomst med minsta möjliga behörighet avgörande.
• Angreppsytan: Traditionell AI-säkerhet fokuserar främst på att skydda modellindata och träningsdata. Agentbaserad AI utökar angreppsytan till att omfatta verktyg, arbetsflöden, minne och anslutna system, vilket ökar exponeringen för missbruk och kompromettering.

Organisationer som använder en strukturerad process har större sannolikhet att identifiera, förstå och hantera de risker som ett system kan stå inför. När du modellerar hot i agentbaserade AI-system är det viktigt att gå längre än appar, infrastruktur och dataflöden och även ta med följande:

Agentens mål och funktionssätt

Identifiera potentiella oavsiktliga åtgärder genom att definiera vad agenten är utformad att göra, inklusive:

• Vilka mål den kan driva.
• Hur den planerar och genomför uppgifter.
• Vilken grad av autonomi den har.

Identitet och åtkomst

Alltför bred åtkomst ökar risken för kompromettering och missbruk. När du konfigurerar identiteter, utvärdera:

• Vilka system och vilka data agenten kan komma åt.
• Om behörigheterna följer principerna om minsta möjliga privilegierad åtkomst.
• Hur agenten autentiserar mot andra tjänster.

Verktyg och integreringar

Agentbaserade system förlitar sig på externa verktyg för att uppnå mål, vilket kan utöka angreppsytan. Om du vill skydda din miljö, definiera:

• Vilka API:er, plugin-program och databaser agenten kan anropa.
• Huruvida verktygsindata och utdata valideras.
• Hur åtgärder auktoriseras och begränsas.

Indata och datakällor

Agenter tar kontinuerligt in information från människor och externa system. För att minska risken med otillförlitliga indata kan du titta på:

• Exponering för promptinjektioner eller skadliga indata.
• Dataförgiftning eller manipulering.
• Förtroendegränser mellan interna och externa data.

Minne och tillstånd

Många agenter sparar sammanhang över tid, vilket kan förstärka effekten av ett angrepp. Om du vill minska den här risken, kan du tänka på:

• Vilka data som lagras i minnet.
• Huruvida känslig information behålls eller avslöjas.
• Hur minnet kan modifieras eller skadas.

Uppgiftsutförande och åtgärder

Du kan hjälpa till att förhindra att tekniska risker blir operativa risker, genom att utvärdera:

• Vilka åtgärder agenten kan vidta utan godkännande från en person.
• Vilka skyddsåtgärder som hjälper till att begränsa högriskåtgärder.
• Vilka scenarier som kan leda till åtgärder som sprider sig mellan system.

Övervakning och svar

Eftersom beteendet är dynamiskt är insyn avgörande. Övervakning som kan hjälpa dig att upptäcka eller begränsa problem i realtid omfattar:

• Loggning av beslut och åtgärder.
• Identifiering av avvikelser eller policyöverträdelser.
• Att skapa möjlighet att pausa, åsidosätta eller stänga av agenten.

Genom att hantera risker tidigt i design- och distributionsprocessen kan du behålla förtroende och driftsäkerhet. När du modellerar hot mot dina agentbaserade AI-system kommer du sannolikt att identifiera risker inom kategorier som omfattar:

Autonomirisker

Eftersom agenter fattar beslut på egen hand kan de vidta åtgärder som du inte fullt ut förutser. Ett enda fel kan utlösa en kedja av automatiserade steg mellan anslutna system, vilket leder till oavsiktliga ändringar, dataproblem eller driftsstörningar. Autonomi gör också beteendet mindre förutsägbart. När agenter anpassar sig till nya indata och förhållanden blir det svårare att testa alla scenarier eller förlita sig på fasta regler.

Säkerhetsrisker

Anslutningar till API:er, identitetssystem och externa verktyg ökar exponeringen. Om angripare kan utnyttja de här integreringarna kan de höja åtkomstbehörigheter eller utge sig för att vara betrodda system, vilket kan leda till dataförlust eller driftproblem.

Risker för säkerhet och styrning

Eftersom en agentbaserad AI är självständig till sin natur gör övervakning av största vikt. Utan stark styrning blir det svårt att spåra vad som hände, förstå varför agenten fattade ett beslut eller avgöra vem som är ansvarig.

Risker i leveranskedjan och modellen

Agentbaserad AI förlitar sig ofta på tredjepartsmodeller, bibliotek och verktyg, och vart och ett av dem lägger till ytterligare en risknivå. Om en av de här komponenterna komprometteras kan det påverka hela systemet. Till exempel kan en angripare använda en skadlig uppdatering av ett tredjeparts-API för att manipulera agentens funktionssätt.

Etiska överväganden

Utan lämpliga kontroller kan agenter producera partiska resultat eller hantera data på sätt som strider mot integritets- eller regelkrav. Tydliga standarder hjälper organisationer att upprätthålla rättvisa, transparens och efterlevnad.

Du kan hjälpa till att göra dina AI-system säkra, tillförlitliga och i linje med affärsmålen genom att fokusera på några kärnområden. De här grundpelarna hjälper dig att behålla kontroll över funktionssätt, åtkomst och interaktioner med andra system, så att dina agenter kan fatta beslut och utföra uppgifter med minimal risk.

Identitets- och åtkomsthantering

Om du vill behålla ansvarsskyldighet och spårbarhet ska du behandla dina agentbaserade AI-system som identiteter av första klass och införliva dem i befintliga ramverk för identitetsstyrning. Ge varje agent unika autentiseringsuppgifter, tillämpa åtkomst med minsta möjliga behörighet och använd starka autentiseringsmekanismer.

Skyddsräcken och tillämpning av policy

Du kan ange uttryckliga gränser för agentbeteende genom policybaserade kontroller. Skyddsåtgärder bör begränsa vilka verktyg agenter kan komma åt, vilka åtgärder de kan vidta och under vilka villkor. Tillämpning av regler i realtid hjälper dig att förhindra obehöriga eller osäkra åtgärder.

Överskådlighet och övervakning

Överskådlighet ger insyn i agentens funktionssätt, beslut, dataåtkomst och verktygsanvändning. Det gör att organisationer kan upptäcka avvikelser, undersöka risker och upprätthålla styrning så att agenter arbetar säkert, transparent och i enlighet med policyn. Kontinuerlig övervakning är nyckeln till att upptäcka avvikelser i agentens beteende. Implementera analys som spårar agentåtgärder, beslut och verktygsanvändning.

Dataskydd

Agenter hanterar ofta känsliga data när de utför uppgifter. Om du vill minska risken för läckage ska du kryptera data under överföring och i vila, upprätthålla strikta rutiner för dataminimering och övervaka obehörig dataåtkomst.

Säkerhet för modell och leveranskedja

Säkerheten i din programvaruförsörjningskedja spelar en stor roll för säkerheten i agentbaserad AI. Det är viktigt att verifiera att tredjepartsmodeller, API:er och verktyg är tillförlitliga och fungerar som förväntat. För alla externa komponenter ska du verifiera ursprung genom metoder som kodsignering, paketvalidering och betrodda distributionskällor.

Styrning och mänsklig övervakning

Slutligen: om du vill anpassa din agentbaserade AI till principer för ansvarsfull AI och krav på regelefterlevnad ska du bestämma vilka åtgärder som är tillåtna, vem som är ansvarig och hur du ska verkställa besluten.

Att skydda agentbaserad AI kräver ett proaktivt, angreppssätt i flera skikt som hanterar både tekniska och styrningsmässiga utmaningar. Några rekommenderade metoder kan hjälpa dig att bygga och skala system som uppfyller affärsmålen samtidigt som du hanterar risker.

Börja med snäva, tydligt avgränsade uppgifter

Börja med att distribuera agentbaserad AI i kontrollerade miljöer med begränsad funktionalitet. Genom att tilldela agenter lågriskuppgifter med tydlig avgränsning kan du minimera påverkan om något går fel.

Använd sandbox-miljöer för agentåtgärder

Om du vill minska risken för produktionsmiljöer och känsliga data ska du isolera agenternas åtgärder i sandbox-miljöer eller virtualiserade miljöer. Tillämpa dataklassificeringskontroller, till exempel känslighetsetiketter, så att agenter endast interagerar med godkända data baserat på klassificering och känslighet.

Implementera skyddsräcken i flera lager

Det kan vara svårt att övervaka och kontrollera dynamiska system, men du kan begränsa agenternas beteende genom att definiera vilka verktyg de kan komma åt, vilka åtgärder de kan utföra och under vilka villkor. Tilldela agenter separata identiteter och tillämpa rollbaserad åtkomstkontroll för att styra vilka data och vilka system de kan komma åt. För maximal kontroll ska du kombinera statiska principer med dynamiska kontroller vid körning.

Testa kontinuerligt för att upptäcka eventuella promptinjektioner och jailbreak-försök

Eftersom agentbaserad AI kan agera autonomt och koppla ihop flera åtgärder, finns det en risk att angripare manipulerar några av dess indata så att agenten beter sig på ett osäkert eller oavsiktligt sätt. Genomför regelbundet red team-övningar och test med fientliga testattacker för att upptäcka svagheter innan angripare gör det.

Upprätta eskaleringsvägar och styrningsflöden

Skapa tydliga eskaleringsrutiner för åtgärder med hög risk. För känsliga åtgärder, till exempel finansiella transaktioner eller ändringar i systemkonfigurationen, kan du implementera kontrollpunkter med mänsklig medverkan.

Följ principerna för ansvarsfull AI

Bygg agenter som följer etiska standarder, riktlinjer för rättvisa och regelkrav genom att lägga till testning av metodfel, granskning av förklarbarhet och validering av efterlevnad. AI- och dataskyddslagar utvecklas, så det är en bra idé att regelbundet omvärdera hur väl dina system håller jämna steg.

Alla användningsfall för agentbaserad AI innebär inte samma risk. Genom att förstå skillnaden mellan scenarier med låg risk och hög risk kan du lättare prioritera var du ska börja och vilka kontroller du ska införa. Två vanliga användningsfall för säkerhet för agentbaserad AI illustrerar skillnaderna:

Prioritering av kundsupportärenden (låg risk)

I det här scenariot hjälper ett agentbaserat AI-system ett kundsupportteam genom att kategorisera inkommande ärenden, föreslå svar och dirigera ärenden till rätt avdelning.

• Varför det innebär låg risk:
  • Agenten arbetar i en kontrollerad miljö.
  • Åtgärderna begränsas till klassificering av ärenden och förslag på svar.
  • Det finns ingen direktåtkomst till känsliga finansiella system eller driftssystem.
• Säkerhetsöverväganden:
  • Tillämpa skyddsräcken för att förhindra att agenten eskalerar ärenden utan godkännande.
  • Övervaka försök till promptinjektion som kan manipulera dirigeringen av ärenden.

Automatisering av finansiella transaktioner (hög risk)

Här är ett agentbaserat AI-system behörigt att initiera och godkänna finansiella transaktioner baserat på fördefinierade affärsregler.

• Varför det innebär hög risk:
  • Agenten har direktåtkomst till finansiella system och känsliga data.
  • Det finns en risk för storskaligt bedrägeri eller driftsstörningar om systemet komprometteras.
• Säkerhetsöverväganden:
  • Tillämpa strikt identitets- och åtkomsthantering för agenten.
  • Implementera godkännande med mänsklig medverkan för transaktioner med högt värde.
  • Övervaka kontinuerligt avvikande transaktionsmönster.

Innan du distribuerar eller skalar upp agentbaserade AI-system, ta dig tid att dubbelkolla organisationens beredskap inom några nyckelområden:

• Mognad i styrning. Finns eskaleringsvägar och godkännandeflöden på plats?
• Identitetskontroller. Behandlas agenter som unika identiteter med åtkomst enligt minsta möjliga behörighet?
• Övervakningsfunktioner. Kan organisationen upptäcka och reagera på avvikande agentbeteende i realtid?
• Risktolerans. Förstår och accepterar verksamheten den möjliga effekten av agentautonomi i det valda användningsfallet?

Genom att börja med scenarier med låg risk och gradvis införa agentbaserad AI i mer komplexa arbetsflöden, kan organisationen bygga upp förtroende samtidigt som säkerhet och efterlevnad upprätthålls.

Skydd av agentbaserad AI är en viktig del vid införandet autonoma system på ett ansvarsfullt sätt. I takt med att de här systemen tar över mer beslutsfattande och kopplas samman mellan miljöer medför de risker som traditionella säkerhetsmetoder inte har varit utformade för att hantera. Identitetsstyrning, tydlig efterlevnad av policyer och kontinuerlig övervakning bidrar till att hålla systemen i linje med verksamhetens mål och krav på efterlevnad. Genom att arbeta proaktivt hjälper du till att upprätthålla förtroende, minska exponeringen för nya hot och hålla agentens autonoma beteende inom definierade gränser.

Du kan stödja säkrare AI-distribution i organisationen med en uppsättning enhetliga säkerhetslösningar för agentbaserad AI från Microsoft. Microsoft Security samlar funktioner för identitets- och åtkomsthantering, hotidentifiering, dataskydd och styrning för att hjälpa dig att behålla kontrollen över autonoma system. Med inbyggd AI för cybersäkerhetkan du snabba upp utredningar och hjälpa team att arbeta mer effektivt tillsammans. Tillsammans ger de här lösningarna en praktisk grund för att hantera risker, skydda AI-system och stödja ansvarsfull användning av agentbaserad AI.