Wat is beveiliging voor agentische AI?

Traditionele AI-systemen zijn ontworpen om specifieke, vooraf gedefinieerde taken uit te voeren op basis van invoer of historische gegevens. Beveiligingsinspanningen richten zich doorgaans op het beveiligen van modellen, het beschermen van trainingsgegevens en het valideren van uitvoer tijdens gebruik. Deze maatregelen helpen organisaties om integriteit en betrouwbaarheid binnen een afgebakende scope te behouden.

De autonomie en besluitvormingsmogelijkheden van agentische AI brengen uitdagingen met zich mee waar traditionele benaderingen niet voor zijn ontworpen. Belangrijke verschillen zijn:

• Systeemgedrag: traditionele AI-systemen reageren op prompts of invoer, terwijl agentische AI-systemen actief taken plannen en uitvoeren. Omdat agents zelfstandig acties kunnen uitvoeren, kunnen hun beslissingen een directe operationele impact hebben.
• Besluitvorming: traditionele AI volgt doorgaans vooraf gedefinieerde logica of modeluitvoer. Agentische AI past beslissingen aan op basis van context en tussenresultaten, waardoor gedrag minder voorspelbaar wordt en de behoefte aan continue bewaking en guardrails toeneemt.
• Bereik van activiteit: traditionele AI werkt vaak binnen één toepassing of werkstroom. Agentische AI kan meerdere systemen, tools en gegevensbronnen bestrijken, waardoor de mogelijke impact van fouten of compromittering toeneemt.
• Hulpprogrammagebruik: traditionele AI vertrouwt over het algemeen op vooraf gedefinieerde integraties. Agentische AI kan dynamisch API's, tools en services aanroepen, waardoor er extra toegangspunten ontstaan voor misbruik of aanvallen.
• Identiteit en toegang: traditionele AI kan worden uitgevoerd onder gedeelde of impliciete service-identiteiten. Agentische AI-systemen hebben doorgaans afzonderlijke identiteiten en gedefinieerde machtigingen nodig, waardoor identity governance en least-privilege-toegang essentieel zijn.
• Kwetsbaarheid voor aanvallen: Traditionele AI-beveiliging richt zich vooral op het beschermen van modelinvoer en trainingsgegevens. Agentische AI vergroot het aanvalsoppervlak met tools, werkstromen, geheugen en verbonden systemen, waardoor de blootstelling aan misbruik en compromittering toeneemt.

Organisaties die een gestructureerd proces gebruiken, kunnen de risico's waarmee een systeem te maken kan krijgen waarschijnlijk beter identificeren, begrijpen en beheren. Als je dreigingen modelleert in agentische AI-systemen, is het belangrijk om verder te kijken dan toepassingen, infrastructuur en gegevensstromen en ook rekening te houden met:

De doelen en het gedrag van de agent

Breng mogelijke onbedoelde acties in kaart door te definiëren wat de agent moet doen, waaronder:

• Welke doelen deze kan nastreven.
• Hoe deze taken plant en uitvoert.
• Welke mate van autonomie deze heeft.

Identiteit en toegang

Te ruime toegang vergroot het risico op compromittering of misbruik. Bij het instellen van identiteiten moet je het volgende beoordelen:

• Op welke systemen en gegevens de agent toegang heeft.
• Of machtigingen voldoen aan de principes van minimale bevoegdheid.
• Hoe de agent zich verifieert bij andere services.

Hulpprogramma's en integraties

Agentische systemen vertrouwen op externe tools om doelen te bereiken, waardoor het aanvalsoppervlak kan toenemen. Om je omgeving te beschermen, moet je het volgende definiëren:

• Welke API's, plug-ins en databases de agent kan aanroepen.
• Of invoer en uitvoer van hulpprogramma's worden gevalideerd.
• Hoe acties worden geautoriseerd en beperkt.

Invoer en gegevensbronnen

Agents nemen voortdurend informatie op van mensen en externe systemen. Om het risico van onbetrouwbare invoer te verkleinen, kun je kijken naar:

• Blootstelling aan promptinjecties of schadelijke invoer.
• Gegevensvergiftiging of -manipulatie.
• Vertrouwensgrenzen tussen interne en externe gegevens.

Geheugen en status

Veel agents bewaren context in de loop van de tijd, waardoor de impact van een aanval groter kan worden. Om dit risico te beperken, kun je het volgende overwegen:

• Welke gegevens worden opgeslagen in het geheugen.
• Of gevoelige informatie wordt bewaard of openbaar wordt gemaakt.
• Hoe het geheugen kan worden gewijzigd of beschadigd.

Taakvoltooiing en acties

Om te helpen voorkomen dat technisch risico operationeel risico wordt, evalueer je:

• Welke acties de agent kan uitvoeren zonder goedkeuring van een persoon.
• Welke beveiligingen helpen bij het beperken van risicovolle bewerkingen.
• Welke scenario's kunnen leiden tot acties die zich over systemen heen verspreiden.

Bewaking en reactie

Omdat gedrag dynamisch is, is zichtbaarheid essentieel. Monitoring waarmee je problemen in realtime kunt detecteren of indammen, omvat onder andere:

• Beslissingen en acties vastleggen.
• Afwijkingen of schendingen van beleid detecteren.
• De mogelijkheid creëren om de agent te pauzeren, te overrulen of af te sluiten.

Risico's al vroeg in het ontwerp- en implementatieproces aanpakken, kan je helpen om vertrouwen en operationele integriteit te behouden. Wanneer je dreigingen voor je agentische AI-systemen modelleert, zul je waarschijnlijk risico's identificeren in categorieën zoals:

Autonomierisico's

Omdat agents zelfstandig beslissingen nemen, kunnen ze acties uitvoeren die je niet volledig verwacht. Een enkele fout kan een keten van geautomatiseerde stappen activeren in gekoppelde systemen, wat leidt tot onbedoelde wijzigingen, gegevensproblemen of operationele verstoringen. Autonomie maakt gedrag ook minder voorspelbaar. Omdat agents zich aanpassen aan nieuwe invoer en omstandigheden, wordt het lastiger om elk scenario te testen of op vaste regels te vertrouwen.

Beveiligingsrisico's

Verbindingen met API's, identiteitsystemen en externe tools vergroten de blootstelling. Als aanvallers deze integraties kunnen misbruiken, kunnen ze toegang verhogen of vertrouwde systemen imiteren, met mogelijk gegevensverlies of operationele problemen als gevolg.

Risico's voor veiligheid en governance

Door het autonome karakter van agentische AI is toezicht ontzettend belangrijk. Zonder sterk beheer wordt het moeilijk om te achterhalen wat er is gebeurd, te begrijpen waarom de agent een beslissing heeft genomen, of te bepalen wie verantwoordelijk is.

Risico's in de toeleveringsketen en modelrisico's

Agentische AI vertrouwt vaak op modellen, bibliotheken en tools van derden, en elk daarvan voegt een extra risicolaag toe. Als een van deze onderdelen wordt gecompromitteerd, kan dat het hele systeem beïnvloeden. Een aanvaller kan bijvoorbeeld een kwaadaardige update voor een API van derden gebruiken om het gedrag van de agent te manipuleren.

Ethische overwegingen

Zonder de juiste controles kunnen agents bevooroordeelde resultaten leveren of met gegevens omgaan op manieren die niet voldoen aan privacy- of regelgevingsverwachtingen. Duidelijke standaarden helpen organisaties om eerlijkheid, transparantie en naleving af te dwingen.

Je kunt helpen je AI-systemen veilig, betrouwbaar en afgestemd op bedrijfsdoelen te maken door je te richten op een paar kerngebieden. Met deze pijlers kun je controle behouden over gedrag, toegang en interacties met andere systemen, zodat je agents beslissingen kunnen nemen en taken kunnen uitvoeren met minimaal risico.

Identiteits- en toegangsbeheer

Om verantwoordelijkheid en traceerbaarheid te behouden, behandel je je agentische AI-systemen als volwaardige identiteiten en neem je ze op in bestaande kaders voor identiteitsbeheer. Wijs elke agent unieke aanmeldgegevens toe, dwing toegang met minimale bevoegdheden af en pas sterke verificatiemechanismen toe.

Guardrails en beleidsafdwinging

Je kunt expliciete grenzen voor het gedrag van agents instellen via beleidsgestuurde controles. Guardrails moeten beperken tot welke tools agents toegang hebben, welke acties ze kunnen uitvoeren en onder welke voorwaarden. Handhaving van beleid in realtime helpt je ongeautoriseerde of onveilige acties te voorkomen.

Waarneembaarheid en bewaking

Waarneembaarheid biedt inzicht in agentgedrag, beslissingen, gegevenstoegang en gebruik van hulpmiddelen. Hiermee kunnen organisaties afwijkingen detecteren, risico's onderzoeken en governance afdwingen, zodat agents veilig, transparant en in lijn met het beleid werken. Continue bewaking is essentieel om afwijkingen in het gedrag van agents te detecteren. Implementeer analyses die acties, beslissingen en gebruik van hulpmiddelen van agents volgen.

Gegevensbescherming

Agents verwerken vaak gevoelige gegevens terwijl ze taken uitvoeren. Om het risico op een lek te verkleinen, pas je versleuteling toe op gegevens tijdens verzending en in rust, dwing je strikte principes voor gegevensminimalisatie af en controleer je op ongeoorloofde gegevenstoegang.

Beveiliging van modellen en de toeleveringsketen

De beveiliging van je softwareleveringsketen speelt een grote rol in de beveiliging van agentische AI. Het is belangrijk om te controleren of modellen, API's en tools van derden betrouwbaar zijn en zich gedragen zoals verwacht. Controleer voor alle externe onderdelen de herkomst via praktijken zoals codeondertekening, pakketvalidatie en vertrouwde distributiebronnen.

Governance en menselijk toezicht

Om je agentische AI ten slotte af te stemmen op de principes van verantwoordelijke AI en vereisten voor naleving van regelgeving, bepaal je welke acties zijn toegestaan, wie verantwoordelijk is en hoe je beslissingen afdwingt.

Het beveiligen van agentische AI vereist een proactieve, gelaagde aanpak die zowel technische als governance-uitdagingen aanpakt. Een paar best practices kunnen je helpen systemen te bouwen en op te schalen die bedrijfsdoelen halen en tegelijk risico's beheersen.

Begin met kleine, goed afgebakende taken

Begin met het implementeren van agentische AI in gecontroleerde omgevingen met beperkte functionaliteit. Door agents toe te wijzen aan laag-risicovolle, duidelijk afgebakende taken, beperk je de impact als er iets misgaat.

Gebruik gesandboxte omgevingen voor agentacties

Om het risico voor productieomgevingen en gevoelige gegevens te verkleinen, isoleer je agentbewerkingen in sandbox- of gevirtualiseerde omgevingen. Pas controles voor gegevensclassificatie toe, zoals gevoeligheidslabels, om ervoor te zorgen dat agents alleen met goedgekeurde gegevens werken op basis van classificatie en gevoeligheid.

Implementeer gelaagde beveiligingsmaatregelen

Het kan lastig zijn om dynamische systemen te bewaken en te beheren, maar je kunt het gedrag van agents beperken door te bepalen tot welke tools ze toegang hebben, welke acties ze mogen uitvoeren en onder welke voorwaarden. Wijs agents afzonderlijke identiteiten toe en dwing op rollen gebaseerde toegangscontroles af om te beheren tot welke gegevens en systemen ze toegang hebben. Voor maximale controle combineer je statische beleidsregels met dynamische runtimecontroles.

Voer doorlopend tests uit op promptinjectie en jailbreaks

Omdat agentische AI autonoom kan handelen en meerdere acties aan elkaar kan koppelen, bestaat het risico dat aanvallers een van de invoerwaarden manipuleren om het systeem op een onveilige of onbedoelde manier te laten werken. Voer regelmatig red-teaming-oefeningen en adversarial testing uit om zwakke plekken te ontdekken voordat aanvallers dat doen.

Escalatiepaden en governance-werkstromen vastleggen

Maak duidelijke escalatieprocedures voor acties met hoog risico. Voor gevoelige handelingen, zoals financiële transacties of wijzigingen in systeemconfiguraties, implementeer je controles met menselijke tussenkomst.

Volg principes voor verantwoorde AI

Bouw agents die voldoen aan ethische normen, richtlijnen voor eerlijkheid en wettelijke vereisten door bias-tests, explainability-reviews en validatie van naleving op te nemen. AI- en privacywetgeving voor gegevens verandert voortdurend, dus het is een goed idee om regelmatig opnieuw te beoordelen hoe goed je systemen bijblijven.

Niet elk use case voor agentische AI brengt hetzelfde risico met zich mee. Als je het verschil tussen scenario's met laag en hoog risico begrijpt, kun je beter bepalen waar je begint en welke controles je implementeert. Twee veelvoorkomende beveiligingsuse cases voor agentische AI laten de verschillen goed zien:

Triage van klantondersteuning (laag risico)

In dit scenario ondersteunt een agentisch AI-systeem een klantenserviceteam door inkomende tickets te categoriseren, antwoorden voor te stellen en problemen door te sturen naar de juiste afdeling.

• Waarom het een laag risico heeft:
  • De agent werkt binnen een gecontroleerde omgeving.
  • De acties zijn beperkt tot ticketclassificatie en het voorstellen van antwoorden.
  • Er is geen directe toegang tot gevoelige financiële of operationele systemen.
• Beveiligingsoverwegingen:
  • Pas beveiligingsmaatregelen toe om te voorkomen dat de agent tickets zonder goedkeuring escaleert.
  • Controleer op promptinjectiepogingen die de routering van tickets kunnen manipuleren.

Automatisering van financiële transacties (hoog risico)

Hier is een agentisch AI-systeem gemachtigd om financiële transacties te starten en goed te keuren op basis van vooraf gedefinieerde bedrijfsregels.

• Waarom het een hoog risico heeft:
  • De agent heeft directe toegang tot financiële systemen en gevoelige gegevens.
  • Er is kans op grootschalige fraude of verstoring van de bedrijfsvoering als het systeem wordt gecompromitteerd.
• Beveiligingsoverwegingen:
  • Handhaaf streng identity- en toegangsbeheer voor de agent.
  • Implementeer goedkeuring met menselijke tussenkomst voor transacties met hoge waarde.
  • Controleer continu op afwijkende transactiemodellen.

Neem voordat je agentische AI-systemen implementeert of schaalt even de tijd om te controleren hoe goed je organisatie klaar is op een paar belangrijke punten:

• Volwassenheid van governance. Zijn er escalatiepaden en goedkeuringswerkstromen aanwezig?
• Identiteitscontroles. Worden agents behandeld als unieke identiteiten met least-privilege-toegang?
• Bewakingsmogelijkheden. Kan de organisatie afwijkend gedrag van agents in realtime detecteren en hierop reageren?
• Risicotolerantie. Begrijpt en accepteert het bedrijf de mogelijke impact van autonomie van de agent in de gekozen use case?

Door te beginnen met scenario's met laag risico en agentische AI geleidelijk toe te passen in complexere werkstromen, kan je organisatie vertrouwen opbouwen terwijl je beveiliging en compliance behoudt.

Het beveiligen van agentische AI is een belangrijk onderdeel van het verantwoord invoeren van autonome systemen. Omdat deze systemen meer beslissingen gaan nemen en verbinding maken tussen omgevingen, brengen ze risico's met zich mee waar traditionele beveiligingsaanpakken niet voor zijn ontworpen. Identiteitsbeheer, duidelijke handhaving van beleid en continue bewaking spelen een rol bij het afstemmen van systemen op bedrijfsdoelen en nalevingsvereisten. Door proactief te werk te gaan, help je vertrouwen te behouden, de blootstelling aan opkomende bedreigingen te verminderen en autonoom gedrag binnen gedefinieerde grenzen te houden.

Je kunt veiliger implementeren van AI binnen je organisatie ondersteunen met een set geïntegreerde beveiligingsoplossingen voor agentische AI van Microsoft. Microsoft Beveiliging brengt identiteits- en toegangsbeheer, dreigingsdetectie, gegevensbescherming en governance mogelijkheden samen om je te helpen controle te houden over autonome systemen. Met ingebouwde AI voor cyberbeveiliging kun je onderzoeken versnellen en teams helpen efficiënter samen te werken. Samen bieden deze oplossingen een praktische basis voor het beheren van risico's, het beschermen van AI-systemen en het ondersteunen van verantwoord gebruik van agentische AI.