Hvad er agentbaseret AI-sikkerhed?

Traditionelle AI-systemer er designet til at udføre specifikke, foruddefinerede opgaver baseret på input eller historiske data. Sikkerhedstiltag fokuserer typisk på at beskytte modeller, beskytte oplæringsdata og validere output under drift. Disse foranstaltninger hjælper organisationer med at opretholde integritet og pålidelighed inden for et defineret omfang.

Autonomi og beslutningsevne i agentbaseret AI medfører udfordringer, som traditionelle tilgange ikke var designet til at håndtere. De vigtigste forskelle omfatter:

• Systemadfærd: Traditionelle AI-systemer reagerer på prompts eller input, mens agentbaserede AI-systemer aktivt planlægger og udfører opgaver. Da agenter kan handle selvstændigt, kan deres beslutninger have direkte driftsmæssig betydning.
• Beslutningstagning: Traditionel AI følger typisk foruddefineret logik eller modeloutput. Agentbaseret AI tilpasser beslutninger baseret på kontekst og mellemliggende resultater, hvilket gør funktionsmåden mindre forudsigelig og øger behovet for løbende overvågning og sikkerhedsforanstaltninger.
• Aktivitetsomfang: Traditionel AI kører ofte inden for en enkelt app eller arbejdsproces. Agentbaseret AI kan spænde over flere systemer, værktøjer og datakilder, hvilket øger den potentielle påvirkning af fejl eller kompromittering.
• Brug af værktøjer: Traditionel AI er generelt afhængig af foruddefinerede integrationer. Agentbaseret AI kan dynamisk kalde API'er, værktøjer og tjenester, hvilket skaber flere indgangspunkter for misbrug eller angreb.
• Identitet og adgang: Traditionel AI kører muligvis under delte eller implicitte tjenesteidentiteter. Agentbaserede AI-systemer kræver typisk forskellige identiteter og definerede tilladelser, hvilket gør identitetsstyring og adgang med mindst mulige rettigheder afgørende.
• Angrebsoverflade: Traditionel AI-sikkerhed fokuserer primært på at beskytte modelinput og træningsdata. Agentbaseret AI udvider angrebsoverfladen til at omfatte værktøjer, arbejdsgange, hukommelse og tilsluttede systemer, hvilket øger eksponeringen for misbrug og kompromittering.

Organisationer, der bruger en struktureret proces, er mere tilbøjelige til at identificere, forstå og håndtere de risici, som et system kan stå over for. Når du modellerer trusler i agentbaserede AI-systemer, er det vigtigt at udvide ud over apps, infrastruktur og dataflows til også at omfatte:

Agentens mål og adfærd

Identificer potentielle utilsigtede handlinger ved at definere, hvad agenten er designet til at gøre, herunder:

• Hvilke mål det kan nå.
• Hvordan den planlægger og udfører opgaver.
• Hvilket niveau af uafhængighed den har.

Identitet og adgang

For bred adgang øger risikoen for kompromittering eller misbrug. Når du konfigurerer identiteter, skal du evaluere:

• Hvilke systemer og data agenten kan få adgang til.
• Om tilladelserne følger principperne om mindst mulige rettigheder.
• Hvordan agenten autentificerer sig over for andre tjenester.

Værktøjer og integrationer

Agentbaserede systemer er afhængige af eksterne værktøjer for at nå mål, hvilket kan udvide den angrebsoverflade. For at beskytte dit miljø skal du definere:

• Hvilke API'er, plugins og databaser agenten kan kalde.
• Om værktøjsinput og -output valideres.
• Hvordan handlinger autoriseres og begrænses.

input og datakilder

Agenter modtager løbende oplysninger fra personer og eksterne systemer. For at reducere risikoen ved utroværdigt input kan du se nærmere på:

• Eksponering for prompt-injektion eller skadeligt input.
• Dataforfalskning eller -manipulation.
• Hav tillid til grænser mellem interne og eksterne data.

Hukommelse og tilstand

Mange agenter gemmer kontekst over tid, hvilket kan forstærke virkningen af et angreb. For at reducere denne risiko skal du overveje:

• Hvilke data der gemmes i hukommelsen.
• Om følsomme oplysninger bevares eller afsløres.
• Hvordan hukommelsen kan ændres eller beskadiges.

Opgavefuldførelse og handlinger

For at hjælpe med at forhindre, at teknisk risiko bliver til driftsrisiko, skal du vurdere:

• Hvilke handlinger agenten kan udføre uden godkendelse fra en person.
• Hvilke sikkerhedsforanstaltninger der kan hjælpe med at begrænse højrisikohandlinger.
• Hvilke scenarier der kan føre til handlinger, som forplanter sig på tværs af systemer.

Overvågning og svar

Fordi adfærden er dynamisk, er synlighed afgørende. Overvågning, der kan hjælpe dig med at registrere eller inddæmme problemer i realtid, omfatter:

• Logføring af beslutninger og handlinger.
• Registrering af afvigelser eller brud på politikken.
• Oprettelse muligheden for at afbryde, tilsidesætte eller lukke agenten.

Håndtering af risici tidligt i design- og udrulningsprocessen kan hjælpe dig med at bevare tillid og driftsintegritet. Når du modellerer trusler mod dine agentbaserede AI-systemer, vil du sandsynligvis identificere risici på tværs af kategorier, der omfatter:

Autonomirisici

Fordi agenter træffer beslutninger på egen hånd, kan de udføre handlinger, som du ikke fuldt ud forudser. En enkelt fejl kan udløse en kæde af automatiserede trin på tværs af tilsluttede systemer, hvilket kan føre til utilsigtede ændringer, dataproblemer eller driftsforstyrrelser. Uafhængighed gør også funktionsmåden mindre forudsigelig. Når agenter tilpasser sig nye input og betingelser, bliver det sværere at teste hvert scenarie eller stole på faste regler.

Sikkerhedsrisici

Forbindelser til API'er, identitetssystemer og eksterne værktøjer øger eksponeringen. Hvis angribere er i stand til at udnytte disse integrationer, kan de eskalere adgang eller udgive sig for at være betroede systemer, hvilket kan resultere i potentielt datatab eller driftsproblemer.

Risici ved sikkerhed og styring

Den autonome karakter af agentbaseret AI gør overblikket utroligt vigtigt. Uden stærk styring bliver det svært at spore, hvad der skete, forstå, hvorfor agenten traf en beslutning, eller afgøre, hvem der er ansvarlig.

Risici i forsyningskæden og modellen

Agentbaseret AI er ofte afhængig af tredjepartsmodeller, biblioteker og værktøjer, som hver især tilføjer endnu et lag af risiko. Hvis en af disse komponenter bliver kompromitteret, kan det påvirke hele systemet. For eksempel kan en angriber bruge en skadelig opdatering til en tredjeparts-API til at manipulere agentens adfærd.

Etiske overvejelser

Uden de rette kontroller kan agenter producere skæve resultater eller håndtere data på måder, der er i konflikt med krav til beskyttelse af personlige oplysninger eller regler. Klare standarder hjælper organisationer med at håndhæve retfærdighed, gennemsigtighed og overholdelse af regler og standarder.

Du kan hjælpe med at gøre dine AI-systemer sikre, pålidelige og afstemt med forretningsmål ved at fokusere på nogle få kerneområder. Disse søjler gør det muligt for dig at bevare kontrollen over adfærd, adgang og interaktioner med andre systemer, så dine agenter kan træffe beslutninger og udføre opgaver med minimal risiko.

Identitets- og adgangsadministration

Hvis du vil bevare ansvarlighed og sporbarhed, skal du behandle dine agentbasered AI-systemer som førsteklasses identiteter og inkorporere dem i eksisterende strukturer til identitetsstyring. Tildel unikke legitimationsoplysninger til hver agent, håndhæv adgang med mindst mulige rettigheder, og anvend stærke autentificerings mekanismer.

Beskyttelsesforanstaltninger og håndhævelse af politikker

Du kan fastsætte eksplicitte grænser for agentadfærd via politikbaserede kontroller. Sikkerhedsforanstaltninger bør begrænse, hvilke værktøjer agenter kan få adgang til, hvilke handlinger de kan udføre, og under hvilke betingelser. Politikhåndhævelse i realtid hjælper dig med at forhindre uautoriserede eller usikre handlinger.

Observerbarhed og overvågning

Observerbarhed giver indsigt i agentadfærd, beslutninger, dataadgang og værktøjsbrug. Det gør det muligt for organisationer at opdage afvigelser, undersøge risici og håndhæve styring, så agenter fungerer sikkert, gennemsigtigt og i overensstemmelse med politikken. Løbende overvågning er afgørende for at opdage afvigelser i agentadfærd. Implementér analyser, der sporer agenthandlinger, beslutninger og værktøjsbrug.

Databeskyttelse

Agenter håndterer ofte følsomme data, mens de udfører opgaver. For at reducere risikoen for datalæk skal du anvende kryptering på data under overførsel og i hvile, håndhæve strenge praksisser for dataminimering og overvåge for uautoriseret dataadgang.

Sikkerhed for modellen og forsyningskæden

Sikkerheden i din softwareforsyningskæde spiller en stor rolle for sikkerheden i agentbaseret AI. Det’er vigtigt at validere, at tredjepartsmodeller, API'er og værktøjer er pålidelige og opfører sig som forventet. For alle eksterne komponenter skal du kontrollere oprindelsen via fremgangsmåder som kodesignering, pakkevalidering og pålidelige distributionskilder.

Styring og menneskeligt tilsyn

Til sidst skal du for at afstemme din agentbaserede AI med principperne for ansvarlig AI og kravene til overholdelse af lovgivning beslutte, hvilke handlinger der er tilladt, hvem der er ansvarlig, og hvordan du vil håndhæve beslutninger.

Sikring af agentbaseret AI kræver en proaktiv, lagdelt tilgang, der håndterer både tekniske og styringsmæssige udfordringer. Nogle få bedste praksis kan hjælpe dig med at bygge og skalere systemer, der opfylder forretningsmål, samtidig med at du administrerer risici.

Start med afgrænsede, klart definerede opgaver

Begynd med at implementere agentbaseret AI i kontrollerede miljøer med begrænset funktionalitet. Ved at tildele agenter lavrisikoopgaver, der er klart definerede, kan du minimere påvirkningen, hvis noget går galt.

Brug sandkassemiljøer til agenthandlinger

Hvis du vil reducere risikoen for produktionsmiljøer og følsomme data, skal du isolere agenthandlinger i sandkassemiljøer eller virtualiserede miljøer. Anvend kontrolelementer til dataklassificering, f.eks. følsomhedsmærkater, for at sikre, at agenter kun interagerer med godkendte data baseret på klassificering og følsomhed.

Implementér lagdelte sikkerhedsforanstaltninger

Det kan være vanskeligt at overvåge og kontrollere dynamiske systemer, men du kan begrænse agentadfærd ved at definere, hvilke værktøjer de kan få adgang til, hvilke handlinger de kan udføre, og under hvilke betingelser. Tildel forskellige identiteter til agenter, og håndhæv rollebaserede adgangskontroller for at styre, hvilke data og systemer de kan få adgang til. For maksimal kontrol skal du kombinere statiske politikker med dynamiske kørselskontroller.

Test løbende for prompt-injektion og jailbreaks

Fordi agentbaseret AI kan handle autonomt og kæde flere handlinger sammen, er der en risiko for, at angribere manipulerer et af dens input for at få den til at opføre sig på usikre eller utilsigtede måder. Gennemfør jævnligt red-teaming-øvelser og fjendtlig test for at opdage svagheder, før angriberne gør det.

Etabler eskaleringsstier og arbejdsprocesser til styring

Opret klare eskaleringsprocedurer for handlinger med høj risiko. For følsomme handlinger, såsom finansielle transaktioner eller ændringer i systemkonfigurationen, skal du indføre kontrolpunkter med menneskelig involvering.

Afstem med principper for Ansvarlig AI

Byg agenter, der overholder etisk standarder, retningslinjer for retfærdighed og lovmæssige krav ved at inkorporere test for bias, gennemgange af forklaring og validering af overholdelse af angivne standarder. AI- og databeskyttelseslovgivning udvikler sig, så det er en god idé regelmæssigt at vurdere, hvor godt dine systemer følger med.

Ikke alle agentbaserede AI-use cases har den samme risiko. Når du forstår forskellen mellem lavrisiko- og højrisikoscenarier, kan det hjælpe dig med at prioritere, hvor du skal starte, og hvilke kontroller du skal implementere. To almindelige sikkerhedsscenarier for agentbaseret AI illustrerer forskellene:

Prioritering af kundesupport (lav risiko)

I dette scenarie hjælper et agentbaseret AI-system et kundesupportteam ved at kategorisere indgående sager, foreslå svar og sende sagerne videre til den rigtige afdeling.

• Hvorfor det er lav-risiko:
  • Agenten arbejder i et kontrolleret miljø.
  • Handlingerne er begrænset til sagsklassificering og forslag til svar.
  • Der er ingen direkte adgang til følsomme økonomiske eller driftsmæssige systemer.
• Sikkerhedsovervejelser:
  • Anvend sikkerhedsforanstaltninger for at forhindre, at agenten eskalerer sager uden godkendelse.
  • Overvåg for forsøg på prompt-injektion, der kan manipulere ruteplanlægning af sager.

Automatisering af økonomiske transaktioner (høj-risiko)

Her er et agentbaseret AI-system autoriseret til at igangsætte og godkende finansielle transaktioner baseret på foruddefinerede forretningsregler.

• Hvorfor det er høj-risiko:
  • Agenten har direkte adgang til økonomiske systemer og følsomme data.
  • Der er risiko for omfattende svindel eller driftsforstyrrelser, hvis det kompromitteres.
• Sikkerhedsovervejelser:
  • Håndhæv streng identitets- og adgangsstyring for agenten.
  • Implementer godkendelse med menneskelig involvering for transaktioner med høj værdi.
  • Overvåg løbende for afvigende transaktionsmønstre.

Før du udruller eller skalerer agentbaserede AI-systemer, skal du bruge lidt tid på at dobbelttjekke din organisations parathed på nogle få nøgleområder:

• Modenhed inden for styring. Er der eskaleringsstier og arbejdsprocesser til godkendelse på plads?
• Identitetskontroller. Bliver agenter behandlet som unikke identiteter med adgang med mindst mulige rettigheder?
• Overvågningsfunktioner. Kan organisationen registrere og reagere på afvigende agentadfærd i realtid?
• Risikotolerance. Forstår og accepterer forretningen den potentielle påvirkning af agentautonomi i det valgte use case?

Ved at starte med lavrisiko-scenarier og gradvist introducere agentbaseret AI i mere komplekse arbejdsgange kan din organisation opbygge tillid, samtidig med at sikkerhed og overholdelse af regler bevares.

Sikring af agentbaseret AI er en central del af at indføre autonome systemer på en ansvarlig måde. Efterhånden som disse systemer påtager sig mere beslutningstagning og forbindes på tværs af miljøer, introducerer de risici, som traditionelle sikkerhedsmetoder ikke var designet til at håndtere. Identitetsstyring, klar håndhævelse af politikker og løbende overvågning spiller en rolle i at holde systemer på linje med forretningshensigten og kravene til overholdelse. Ved at tage en proaktiv tilgang hjælper du med at bevare tilliden, reducere eksponeringen for nye trusler og holde autonom adfærd inden for definerede grænser.

Du kan understøtte mere sikker AI-udrulning i din organisation med et sæt samlede sikkerhedsløsninger til agentbaseret AI fra Microsoft. Microsoft Security samler identitets- og adgangsstyring, trusselsregistrering, databeskyttelse og styringsfunktioner for at hjælpe dig med at bevare kontrollen over autonome systemer. Med indbygget AI til cybersikkerhedkan du fremskynde undersøgelser og hjælpe teams med at arbejde mere effektivt sammen. Sammen giver disse løsninger et praktisk grundlag for administration af risici, beskyttelse af AI-systemer og understøttelse af ansvarlig brug af agentbaseret AI.