Hva er sikkerhet for agentisk kunstig intelligens?

Tradisjonelle KI-systemer er utformet for å utføre spesifikke, forhåndsdefinerte oppgaver basert på inndata eller historiske data. Sikkerhetstiltak fokuserer vanligvis på å beskytte modeller, sikre opplæringsdata og validere utdata under operasjonen. Disse målene hjelper organisasjoner med å opprettholde integritet og pålitelighet innenfor et definert omfang.

De selvstyrende og beslutningstakende egenskapene til agentisk kunstig intelligens bringer utfordringer som tradisjonelle tilnærminger ikke var utformet for å håndtere. Viktige forskjeller inkluderer:

• Systematferd: Tradisjonelle KI-systemer svarer på ledetekster eller inndata, mens agentiske KI-systemer aktivt planlegger og utfører oppgaver. Fordi agenter kan handle uavhengig, kan avgjørelsene deres ha direkte innvirkning på driften.
• Beslutningstaking: Tradisjonell kunstig intelligens følger vanligvis forhåndsdefinert logikk eller modellutdata. Agentisk kunstig intelligens tilpasser beslutninger basert på kontekst og mellomliggende resultater, noe som gjør atferden mindre forutsigbar og øker behovet for kontinuerlig overvåking og beskyttelsesrekkverk.
• Aktivitetsomfang: Tradisjonell kunstig intelligens opererer ofte innenfor ett enkelt program eller en arbeidsflyt. Agentisk kunstig intelligens kan omfatte flere systemer, verktøy og datakilder, noe som øker den potensielle innvirkningen av feil eller risikoer.
• Verktøybruk: Tradisjonell kunstig intelligens er generelt avhengig av forhåndsdefinerte integreringer. Agentisk kunstig intelligens kan dynamisk kalle opp API-er, verktøy og tjenester, noe som skaper flere inngangspunkter for misbruk eller angrep.
• Identitet og tilgang: Tradisjonell kunstig intelligens kan kjøres under delte eller implisitte tjenesteidentiteter. Agentiske KI-systemer krever vanligvis distinkte identiteter og definerte tillatelser, noe som gjør identitetsstyring og minst privilegert tilgang viktig.
• Angrepsoverflate: Tradisjonell KI-sikkerhet fokuserer hovedsakelig på beskyttelse av modellinndata og opplæringsdata. Agentisk kunstig intelligens utvider angrepsoverflaten til å omfatte verktøy, arbeidsflyter, minne og tilkoblede systemer, noe som øker eksponeringen for misbruk og risikoer.

Organisasjoner som bruker en strukturert prosess, har større sannsynlighet for å identifisere, forstå og håndtere risikoene som et system kan stå overfor. Når du modellerer trusler i agentiske KI-systemer, er det viktig å utvide utover programmer, infrastruktur og dataflyter for å inkludere:

Agentens mål og atferd

Identifisere potensielle utilsiktede handlinger ved å definere hva agenten er utformet for å gjøre, inkludert:

• Hvilke mål den kan følge.
• Hvordan den planlegger og utfører oppgaver.
• Hvilket nivå av selvstyre den har.

Identitet og tilgang

Overskridende bred tilgang øker risikoen for forstyrrelser eller misbruk. Når du konfigurerer identiteter, evaluerer du:

• Hvilke systemer og data agenten har tilgang til.
• Om tillatelser følger prinsipper for minst privilegert tilgang.
• Hvordan agenten godkjenner til andre tjenester.

Verktøy og integreringer

Agentiske systemer er avhengige av eksterne verktøy for å fullføre mål, noe som kan utvide angrepsoverflaten. Definer følgende for å beskytte miljøet:

• Hvilke API-er, plugin-moduler og databaser agenten kan kalle.
• Om verktøyinndata og utdata valideres.
• Hvordan handlinger godkjennes og begrenses.

Inndata og datakilder

Agenter tar kontinuerlig inn informasjon fra personer og eksterne systemer. Hvis du vil redusere risikoen for uklarerte inndata, kan du ta en titt på:

• Eksponering for innsettinger av spørsmål eller skadelige inndata.
• Datakryptering eller manipulering.
• Klareringsgrenser mellom interne og eksterne data.

Minne og tilstand

Mange agenter lagrer kontekst over tid, noe som kan forsterke innvirkningen av et angrep. Hvis du vil redusere denne risikoen, bør du vurdere:

• Hvilke data som lagres i minnet.
• Om sensitiv informasjon beholdes eller vises.
• Hvordan minnet kan endres eller skades.

Fullføring av oppgaver og handlinger

Hvis du vil bidra til å forhindre at teknisk risiko blir driftsrisiko, kan du vurdere:

• Hvilke handlinger agenten kan utføre uten godkjenning fra en person.
• Disse beskyttelsene bidrar til å begrense operasjoner med høy risiko.
• Hvilke scenarioer kan føre til handlinger som overlapper på tvers av systemer.

Overvåking og respons

Siden atferd er dynamisk, er synlighet nøkkelen. Overvåking som kan hjelpe deg med å oppdage eller inneholde problemer i sanntid inkluderer:

• Logge beslutninger og handlinger.
• Oppdage avvik eller brudd på policyer.
• Opprette muligheten til å stanse, overstyre eller avslutte agenten.

Å håndtere risiko tidlig i utformings- og distribusjonsprosessen kan hjelpe deg med å opprettholde tillit og driftsintegritet. Når du modellerer trusler mot dine agentiske KI-systemer, vil du'sannsynligvis identifisere risikoer på tvers av kategorier som inkluderer:

Autonomirisiko

Fordi agenter tar avgjørelser på egen hånd, kan de utføre handlinger som du ikke helt forventer. Én enkelt feil kan utløse en kjede av automatiserte trinn på tvers av tilkoblede systemer, noe som fører til utilsiktede endringer, dataproblemer eller driftsavbrudd. Autonomi gjør også atferden mindre forutsigbar. Etter hvert som agenter tilpasser seg nye inndata og betingelser, blir det vanskeligere å teste hvert scenario eller stole på faste regler.

Sikkerhetsrisikoer

Tilkoblinger til API-er, identitetssystemer og eksterne verktøy øker eksponeringen. Hvis angripere kan dra nytte av disse integreringene, kan de eskalere tilgangen eller representere klarerte systemer, noe som resulterer i potensielle datatap eller driftsproblemer.

Risikoer for sikkerhet og styring

Den autonome naturen til agentisk kunstig intelligens gjør tilsyn utrolig viktig. Uten sterk styring blir det vanskelig å spore hva som skjedde, forstå hvorfor agenten tok en beslutning eller avgjøre hvem som er ansvarlig.

Risikoer for forsyningskjede og modell

Agentisk kunstig intelligens er ofte avhengig av tredjepartsmodeller, biblioteker og verktøy, som hver legger til enda et lag med risiko. Hvis en av disse komponentene er kompromittert, kan det påvirke hele systemet. En angriper kan for eksempel bruke en ondsinnet oppdatering til en tredjeparts-API for å manipulere agentatferd.

Etiske vurderinger

Uten riktige kontroller kan agenter produsere partiske resultater eller håndtere data på måter som er i konflikt med personvern eller forskriftsmessige forventninger. Klare standarder hjelper organisasjoner med å håndheve rettferdighet, gjennomsiktighet og forskriftssamsvar.

Du kan bidra til å gjøre KI-systemene trygge, pålitelige og i samsvar med forretningsmål ved å fokusere på noen kjerneområder. Med disse grunnprinsippene kan du opprettholde kontroll over atferd, tilgang og samhandling med andre systemer, slik at agentene dine kan ta avgjørelser og utføre oppgaver med minimal risiko.

Identitets- og tilgangsstyring

For å opprettholde ansvarlighet og sporbarhet må du behandle agentiske KI-systemer som førsteklasses identiteter, og innlemme dem i eksisterende rammeverk for identitetsstyring. Tilordne unik legitimasjon til hver agent, håndhev minst privilegert tilgang og bruk sterke godkjenningsmekanismer.

Beskyttelsesrekkverk og policyhåndhevelse

Du kan angi eksplisitte grenser for agentatferd gjennom policybaserte kontroller. Beskyttelsesrekkverk bør begrense hvilke verktøy agenter kan få tilgang til, hvilke handlinger de kan utføre, og under hvilke forhold. Håndhevelse av policyer i sanntid vil hjelpe deg med å forhindre uautoriserte eller usikre handlinger.

Observerbarhet og overvåking

Observerbarhet gir innsyn i agentatferd, beslutninger, datatilgang og bruk av verktøy. Det gjør det mulig for organisasjoner å oppdage avvik, undersøke risikoer og håndheve styring slik at agenter opererer sikkert, gjennomsiktig og i tråd med policy. Kontinuerlig overvåking er nøkkelen til å oppdage avvik i agentatferd. Implementer analyser som sporer agenthandlinger, beslutninger og verktøybruk.

Databeskyttelse

Agenter håndterer ofte sensitive data mens de utfører oppgaver. Hvis du vil redusere risikoen for en lekkasje, kan du bruke kryptering på data under overføring og inaktive data, håndheve strenge fremgangsmåter for dataminimering og overvåke uautorisert datatilgang.

Modell- og forsyningskjedesikkerhet

Sikkerheten til programvareforsyningskjeden spiller en stor rolle i agentisk sikkerhet for kunstig intelligens. Det er viktig å validere at tredjeparts modeller, API-er og verktøy er pålitelige og oppfører seg som forventet. For alle eksterne komponenter må du bekrefte proveniens via fremgangsmåter som kodesignering, pakkevalidering og klarerte distribusjonskilder.

Styring og menneskelig tilsyn

Til slutt, hvis du vil sikre at agentisk kunstig intelligens samsvarer med ansvarlige KI-prinsipper og krav til forskriftssamsvar, kan du bestemme hvilke handlinger som er tillatt, hvem som er ansvarlig, og hvordan du skal håndheve beslutninger.

Sikring av agentisk kunstig intelligens krever en proaktiv, lagdelt tilnærming som løser både tekniske utfordringer og styringsutfordringer. Noen anbefalte fremgangsmåter kan hjelpe deg med å bygge og skalere systemer som oppfyller forretningsmålene, samtidig som du håndterer risiko.

Start med smale oppgaver med tydelig omfang

Begynn med å distribuere agentisk kunstig intelligens i kontrollerte miljøer med begrenset funksjonalitet. Hvis du tilordner agenter til oppgaver med lav risiko, vil tydelig definerte oppgaver hjelpe deg med å minimere innvirkningen hvis noe går galt.

Bruk sandkassemiljøer for agenthandlinger

Hvis du vil redusere risikoen for produksjonsmiljøer og sensitive data, kan du isolere agentoperasjoner i sandkassebaserte eller virtualiserte miljøer. Bruk dataklassifiseringskontroller, for eksempel følsomhetsetiketter, for å sikre at agenter bare samhandler med godkjente data basert på klassifisering og følsomhet.

Implementer lagdelte beskyttelsesrekkverk

Det kan være vanskelig å overvåke og kontrollere dynamiske systemer, men du kan begrense agentatferd ved å definere hvilke verktøy de kan få tilgang til, hvilke handlinger de kan utføre, og under hvilke betingelser. Tilordne distinkte identiteter til agenter og håndhev rollebaserte tilgangskontroller for å styre hvilke data og systemer de har tilgang til. For maksimal kontroll kan du kombinere statiske policyer med dynamiske kjøretidskontroller.

Test kontinuerlig for innsetting av spørsmål og jailbreaks

Fordi agentisk kunstig intelligens kan handle selvstendig og kjede flere handlinger sammen, er det en risiko for at angripere vil manipulere en av dens inndata for å få den til å oppføre seg på utrygge eller utilsiktede måter. Utfør regelmessig røde teamøvelser og angrepstesting for å fange opp svakheter før angripere gjør det.

Opprett eskaleringsbaner og styringsarbeidsflyter

Opprett tydelige eskaleringsprosedyrer for handlinger med høy risiko. For sensitive operasjoner, for eksempel økonomiske transaksjoner eller systemkonfigurasjonsendringer, bør du innføre kontrollpunkter for menneskelig godkjenning underveis.

Opprett samsvar med ansvarlige prinsipper for kunstig intelligens

Bygg agenter som overholder etiske standarder, retningslinjer for rettferdighet og forskriftsmessige krav ved å inkludere testing for partiskhet, forklaringsvurderinger og validering av forskriftssamsvar. KI- og datavernlover utvikler seg, så det er lurt å regelmessig evaluere hvor godt systemene dine holder tritt.

Ikke alle brukstilfeller for agentisk kunstig intelligens har samme risiko. Å forstå forskjellen mellom scenarioer med lav risiko og høy risiko kan hjelpe deg med å prioritere hvor du skal begynne, og hvilke kontroller som skal implementeres. To vanlige brukstilfeller for sikkerhet for agentisk kunstig intelligens bidrar til å illustrere forskjellene:

Kundestøttesortering (lav risiko)

I dette scenarioet hjelper et agentisk KI-system et kundestøtteteam ved å kategorisere innkommende forespørsler, foreslå svar og rute problemer til riktig avdeling.

• Hvorfor det er lav risiko:
  • Agenten opererer i et kontrollert miljø.
  • Handlinger er begrenset til forespørselklassifisering og svarforslag.
  • Det er ingen direkte tilgang til sensitive økonomiske eller driftsmessige systemer.
• Sikkerhetshensyn:
  • Bruk beskyttelsesrekkverk for å hindre at agenten eskalerer forespørsler uten godkjenning.
  • Overvåk for forsøk på innsetting av spørsmål som kan manipulere forespørselsruting.

Automatisering av økonomiske transaksjoner (høy risiko)

Her er et agentisk KI-system autorisert til å starte og godkjenne økonomiske transaksjoner basert på forhåndsdefinerte forretningsregler.

• Hvorfor det er høy risiko:
  • Agenten har direkte tilgang til finanssystemer og sensitive data.
  • Det er et potensial for svindel eller driftsavbrudd i stor skala hvis det blir kompromittert.
• Sikkerhetshensyn:
  • Håndhev streng identitets- og tilgangsadministrasjon for agenten.
  • Implementer menneskelig godkjenning underveis for transaksjoner med høy verdi.
  • Overvåk kontinuerlig for avvikende transaksjonsmønstre.

Før du distribuerer eller skalerer agentiske KI-systemer, kan du bruke litt tid på å dobbeltsjekke organisasjonens beredskap på tvers av noen viktige områder:

• Styringsmodenhet. Er eskaleringsbaner og godkjenningsarbeidsflyter på plass?
• Identitetskontroller. Behandles agenter som unike identiteter med minst privilegert tilgang?
• Overvåkingsfunksjoner. Kan organisasjonen oppdage og reagere på avvikende agentatferd i sanntid?
• Risikotoleranse. Forstår og godtar bedriften den potensielle innvirkningen av agentautomi i det valgte brukstilfellet?

Ved å starte med scenarioer med lav risiko og gradvis introdusere agentisk kunstig intelligens i mer komplekse arbeidsflyter, kan organisasjonen bygge opp selvtillit samtidig som sikkerheten og forskriftssamsvar opprettholdes.

Sikring av agentisk kunstig intelligens er en viktig del av å ta i bruk autonome systemer på en ansvarlig måte. Etter hvert som disse systemene tar flere beslutninger og kobles til på tvers av miljøer, introduserer de risikoer som tradisjonelle sikkerhetstilnærminger ikke ble utformet for å håndtere. Identitetsstyring, tydelig policyhåndhevelse og kontinuerlig overvåking spiller en rolle for å holde systemer i samsvar med forretningshensikt og krav til forskriftssamsvar. Ved å ta en proaktiv tilnærming vil du bidra til å opprettholde tillit, redusere eksponering for nye trusler og holde autonom atferd innenfor definerte grenser.

Du kan støtte tryggere KI-distribusjon i organisasjonen med et sett med enhetlige sikkerhetsløsninger for kunstig intelligens fra Microsoft. Microsoft Sikkerhet samler identitets- og tilgangsadministrasjon, trusseloppdagelse, databeskyttelse og styringsfunksjoner for å hjelpe deg med å opprettholde kontrollen over autonome systemer. Med innebygd kunstig intelligens for cybersikkerhet, kan du øke hastigheten på undersøkelser og hjelpe team med å samarbeide mer effektivt. Disse løsningene gir sammen et praktisk grunnlag for å håndtere risiko, beskytte KI-systemer og støtte ansvarlig bruk av agentisk kunstig intelligens.