Che cos'è la sicurezza basata sull'IA agentica?

I sistemi di intelligenza artificiale tradizionali sono progettati per eseguire attività specifiche e predefinite in base ai dati di input o ai dati cronologici. Le attività di sicurezza si concentrano in genere sulla protezione dei modelli, sulla salvaguardia dei dati di training e sulla convalida degli output durante l'operazione. Queste misure aiutano le organizzazioni a mantenere integrità e affidabilità all'interno di un ambito definito.

L'autonomia e le capacità decisionali dell'intelligenza artificiale agentica comportano sfide che gli approcci tradizionali non erano stati progettati per affrontare. Le principali differenze includono:

• Comportamento del sistema: i sistemi di intelligenza artificiale tradizionali rispondono a prompt o input, mentre i sistemi di IA agentici pianificano ed eseguono attivamente le attività. Poiché gli agenti possono agire in modo autonomo, le loro decisioni possono avere un impatto operativo diretto.
• Processo decisionale: l'intelligenza artificiale tradizionale si basa in genere su logiche predefinite o su output di modelli predefiniti. L'IA agentica adatta le decisioni in base al contesto e ai risultati intermedi, rendendo il comportamento meno prevedibile e aumentando l'esigenza di monitoraggio continuo e sistemi di protezione.
• Ambito di attività: l'intelligenza artificiale tradizionale opera spesso all'interno di una singola applicazione o flusso di lavoro. L'IA agentica può estendersi su più sistemi, strumenti e origini dati, aumentando il potenziale impatto di errori o compromissioni.
• Uso degli strumenti: l'intelligenza artificiale tradizionale si basa generalmente su integrazioni predefinite. L'IA agentica è in grado di chiamare dinamicamente API, strumenti e servizi, creando ulteriori punti di ingresso per usi impropri o attacchi.
• Identità e accesso: l'intelligenza artificiale tradizionale può essere eseguita con identità del servizio condivise o implicite. I sistemi di IA agentica richiedono in genere identità distinte e autorizzazioni definite, rendendo essenziali la governance delle identità e l'accesso con privilegi minimi.
• Superficie di attacco: la sicurezza dell'intelligenza artificiale tradizionale si concentra principalmente sulla protezione degli input del modello e dei dati di training. L'IA agentica espande la superficie di attacco includendo strumenti, flussi di lavoro, memoria e sistemi connessi, aumentando l'esposizione a uso improprio e compromissione.

Le organizzazioni che adottano un processo strutturato hanno maggiori probabilità di identificare, comprendere e gestire i rischi a cui un sistema potrebbe essere esposto. Quando si modellano le minacce nei sistemi di IA agentica, è importante andare oltre le applicazioni, l'infrastruttura e i flussi di dati, per includere anche:

Obiettivi e comportamenti dell'agente

Identifica le potenziali azioni indesiderate definendo le finalità per cui l'agente è stato progettato, tra cui:

• Quali obiettivi può perseguire.
• Come vengono pianificate e svolte le attività.
• Qual è il suo livello di autonomia.

Identità e accessi

Un accesso troppo ampio aumenta il rischio di compromissione o uso improprio. Quando si configurano le identità, valutare:

• Sistemi e dati a cui l'agente può accedere.
• Indica se le autorizzazioni rispettano il principio dei privilegi minimi.
• Come l'agente esegue l'autenticazione agli altri servizi.

Strumenti e integrazioni

I sistemi agentici si affidano a strumenti esterni per completare gli obiettivi, il che può espandere la superficie di attacco. Per proteggere l'ambiente, definisci:

• Quali API, plug-in e database possono essere chiamati dall'agente.
• Indica se gli input e gli output dello strumento vengono convalidati.
• Come le azioni vengono autorizzate e limitate.

Input e origini dati

Gli agenti acquisiscono continuamente informazioni da persone e sistemi esterni. Per ridurre il rischio di input non attendibili, esamina:

• Esposizione ad attacchi di iniezioni di prompt o input dannosi.
• Avvelenamento o manipolazione dei dati.
• Confini di attendibilità tra dati interni ed esterni.

Memoria e stato

Molti agenti salvano il contesto nel tempo, amplificando così l'impatto di un attacco. Per ridurre questo rischio, valuta:

• Quali dati sono archiviati in memoria.
• Indica se le informazioni riservate vengono conservate o divulgate.
• Come la memoria può essere alterata o danneggiata.

Completamento attività e azioni

Per evitare che il rischio tecnico si trasformi in rischio operativo, valuta:

• Quali azioni l'agente può eseguire senza l’approvazione di una persona.
• Quali misure di sicurezza consentiranno di limitare le operazioni ad alto rischio.
• Quali scenari potrebbero innescare azioni a catena tra i sistemi.

Monitoraggio e risposta

In un ambiente dinamico, la visibilità è fondamentale. Il monitoraggio che può aiutarti a rilevare o contenere i problemi in tempo reale include:

• Registrazione di decisioni e azioni.
• Rilevamento di anomalie o violazioni dei criteri.
• Creazione della possibilità di sospendere, ignorare o arrestare l'agente.

Affrontare i rischi tempestivamente, già in fase di progettazione e distribuzione, aiuta a preservare la fiducia e l'integrità operativa. Durante la modellazione delle minacce per i sistemi di IA agentici, è'probabile che vengano identificati rischi in categorie che includono:

Rischi di autonomia

Dal momento che gli agenti prendono decisioni in autonomia, potrebbero eseguire azioni che non avevi del tutto previsto. Un singolo errore può attivare una catena di passaggi automatizzati tra sistemi connessi, causando modifiche indesiderate, problemi ai dati o interruzioni operative. L'autonomia rende anche il comportamento meno prevedibile. Man mano che gli agenti si adattano a nuovi input e condizioni, diventa più difficile testare ogni scenario o basarsi su regole fisse.

Rischi per la sicurezza

Le connessioni ad API, sistemi di identità e strumenti esterni aumentano la superficie di attacco. Se gli utenti malintenzionati riescono a sfruttare queste integrazioni, potrebbero elevare i privilegi di accesso o rappresentare sistemi attendibili, causando potenziali perdite di dati o problemi operativi.

Rischi per la sicurezza e la governance

La natura autonoma dell'IA agentica rende la supervisione estremamente importante. Senza una governance solida, diventa difficile ricostruire cosa è successo, capire perché l'agente ha preso una determinata decisione o stabilire chi ne sia responsabile.

Rischi della catena di approvvigionamento e del modello

L'IA agentica spesso si basa su modelli, librerie e strumenti di terze parti, ognuno dei quali aggiunge un ulteriore livello di rischio. Se uno di questi componenti viene compromesso, l'intero sistema può risentirne. Un utente malintenzionato potrebbe, ad esempio, sfruttare un aggiornamento dannoso di un'API di terze parti per alterare il comportamento di un agente.

Considerazioni etiche

Senza controlli adeguati, gli agenti potrebbero produrre risultati distorti o gestire i dati in modo non conforme alle normative sulla privacy o ai requisiti normativi. Standard chiari consentono alle organizzazioni di garantire equità, trasparenza e conformità.

È possibile contribuire a rendere i tuoi sistemi di IA sicuri, affidabili e allineati agli obiettivi aziendali concentrandoti su alcune aree fondamentali. Questi pilastri consentono di mantenere il controllo su comportamento, accesso e interazioni con altri sistemi, in modo che gli agenti possano prendere decisioni ed eseguire attività con un rischio minimo.

Gestione delle identità e degli accessi

Per mantenere responsabilità e tracciabilità, considera i tuoi sistemi di IA agentica come identità di prima classe e integrali nei framework di governance delle identità esistenti. Assegnare credenziali univoche a ogni agente, applicare l'accesso con privilegi minimi e implementa meccanismi di autenticazione avanzata.

Protezioni e applicazione dei criteri

È possibile definire limiti espliciti per il comportamento dell'agente tramite controlli basati su criteri. Le misure di protezione definiscono i limiti di accesso degli agenti agli strumenti, le azioni consentite e le condizioni operative. L'applicazione dei criteri in tempo reale consente di evitare azioni non autorizzate o non sicure.

Osservabilità e monitoraggio

L'osservabilità offre visibilità su comportamento, decisioni, accesso ai dati e utilizzo degli strumenti da parte dell'agente. Offre alle organizzazioni gli strumenti per individuare anomalie, esaminare i rischi e far rispettare la governance, assicurando che gli agenti operino in modo sicuro, trasparente e conforme ai criteri. Il monitoraggio continuo è fondamentale per l'individuazione di anomalie nel comportamento degli agenti. Implementare funzionalità di analisi che tengano traccia delle azioni, delle decisioni e dell'utilizzo degli strumenti da parte dell'agente.

Protezione dati

Gli agenti spesso gestiscono dati sensibili durante l'esecuzione delle attività. Per ridurre il rischio di perdita di dati, applica la crittografia ai dati in transito e inattivi, applica rigorose procedure di minimizzazione dei dati e monitora gli accessi non autorizzati.

Sicurezza del modello e della catena di approvvigionamento

La sicurezza della catena di approvvigionamento del software riveste un ruolo fondamentale nella sicurezza dell'IA agentica. È importante verificare che modelli, API e strumenti di terze parti siano affidabili e funzionino come previsto. Per tutti i componenti esterni, verifica la provenienza tramite procedure quali firma del codice, convalida dei pacchetti e utilizzo di origini di distribuzione attendibili.

Governance e supervisione umana

Infine, per allineare la tua IA agentica ai principi dell'intelligenza artificiale responsabile e ai requisiti di conformità normativa, decidi quali azioni sono consentite, di chi è la responsabilità e come applicherai le decisioni.

La protezione dell'AI agentica richiede un approccio proattivo e stratificato che affronti sia le sfide tecniche che quelle di governance. Alcune procedure consigliate possono aiutarti a creare e ridimensionare sistemi in grado di raggiungere gli obiettivi aziendali, gestendo al contempo i rischi.

Iniziare con attività mirate e ben definite

Iniziare distribuendo l'IA agentica in ambienti controllati con funzionalità limitate. Assegnare agli agenti attività a basso rischio e chiaramente definite consente di ridurre al minimo l'impatto di eventuali problemi.

Usare ambienti sandbox per le azioni agente

Per ridurre il rischio per gli ambienti di produzione e i dati sensibili, isolare le operazioni degli agenti in ambienti sandbox o virtualizzati. Applicare controlli di classificazione dei dati, come le etichette di riservatezza, per garantire che gli agenti interagiscano solo con dati approvati in base alla classificazione e al livello di riservatezza.

Implementare misure di protezione su più livelli

Il monitoraggio e il controllo dei sistemi dinamici possono risultare complessi, ma è possibile limitare il comportamento dell'agente definendo gli strumenti a cui può accedere, le azioni che può eseguire e le condizioni in cui operare. Assegnare identità distinte agli agenti e applica controlli di accesso basati sui ruoli per regolamentare i dati e i sistemi a cui possono accedere. Per il massimo controllo, combina criteri statici con controlli di runtime in fase di esecuzione.

Test continuo per il rilevamento di attacchi di prompt injection e jailbreak

Dato che l'IA agentica può agire in autonomia e concatenare più azioni, esiste il rischio che chi attacca manipoli uno dei suoi input per farla comportare in modi non sicuri o non previsti. Esegui regolarmente esercizi di red teaming e test avversariali per individuare le vulnerabilità prima che lo facciano gli attaccanti.

Definire percorsi di escalation e flussi di lavoro di governance

Creare procedure di escalation chiare per le azioni ad alto rischio. Per le operazioni sensibili, come le transazioni finanziarie o le modifiche alla configurazione di sistema, implementa checkpoint di supervisione umana.

Allinearsi ai principi dell'intelligenza artificiale responsabile

Crea agenti conformi agli standard etici, ai principi di equità e ai requisiti normativi, integrando test di distorsione, verifiche di spiegabilità e convalida della conformità. Le normative su IA e privacy dei dati sono in continua evoluzione; è quindi buona norma rivalutare periodicamente il livello di adeguamento dei propri sistemi.

Non tutti i casi d’uso dell'IA agentica comportano lo stesso rischio. Capire la differenza tra scenari a basso rischio e scenari ad alto rischio consente di stabilire le priorità su dove iniziare e quali controlli implementare. Due casi d'uso comuni sulla sicurezza dell'IA agentica aiutano a comprendere le differenze:

Valutazione del supporto clienti (rischio basso)

In questo scenario, un sistema di IA agentica assiste il team di supporto clienti classificando i ticket in arrivo, suggerendo risposte e indirizzando i problemi al reparto competente.

• Perché è a basso rischio:
  • L'agente opera all'interno di un ambiente controllato.
  • Le azioni sono limitate alla classificazione dei ticket e ai suggerimenti per le risposte.
  • Non esiste un accesso diretto ai sistemi finanziari od operativi sensibili.
• Considerazioni sulla sicurezza:
  • Applica misure di tutela per impedire all'agente di inoltrare i ticket senza approvazione.
  • Monitora i tentativi di prompt injection che potrebbero alterare l'instradamento dei ticket.

Automazione delle transazioni finanziarie (rischio elevato)

In questo caso, un sistema di IA agentica è autorizzato ad avviare e approvare transazioni finanziarie in base a regole di business predefinite.

• Perché è ad alto rischio:
  • L'agente ha accesso diretto ai sistemi finanziari e ai dati sensibili.
  • Rischio di frodi su larga scala o interruzione delle operazioni in caso di compromissione.
• Considerazioni sulla sicurezza:
  • Applicare una gestione rigorosa di identità e accessi per l'agente.
  • Implementare l'approvazione con intervento umano per le transazioni di valore elevato.
  • Monitora continuamente modelli di transazioni anomale.

Prima di distribuire o ridimensionare sistemi di IA agentica, dedicare del tempo a verificare il livello di preparazione dell'organizzazione in alcune aree chiave:

• Maturità della governance. Sono previsti percorsi di escalation e flussi di lavoro di approvazione?
• Controlli dell'identità. Gli agenti vengono considerati come identità univoche con accesso con privilegi minimi?
• Funzionalità di monitoraggio. L'organizzazione è in grado di rilevare e rispondere ai comportamenti anomali degli agenti in tempo reale?
• Tolleranza al rischio. L'azienda comprende e accetta il potenziale impatto dell'autonomia dell'agente nel caso d'uso scelto?

Iniziando con scenari a basso rischio e introducendo gradualmente l'IA agentica in flussi di lavoro più complessi, l'organizzazione può acquisire fiducia nella tecnologia senza compromettere sicurezza e conformità.

Proteggere l'IA agentica è un elemento fondamentale per adottare sistemi autonomi in modo responsabile. Mano a mano che questi sistemi assumono un ruolo decisionale sempre più ampio e si interconnettono tra ambienti diversi, introducono rischi che gli approcci di sicurezza tradizionali non sono stati progettati per la gestione. La governance delle identità, l'applicazione chiara dei criteri e il monitoraggio continuo contribuiscono a mantenere i sistemi allineati agli obiettivi aziendali e ai requisiti di conformità. Adottando un approccio proattivo, contribuirai a preservare la fiducia, a ridurre l'esposizione alle minacce emergenti e a mantenere il comportamento autonomo entro limiti definiti.

Puoi supportare una distribuzione più sicura dell'intelligenza artificiale nella tua organizzazione con un set di soluzioni di sicurezza unificate per l'IA agentica di Microsoft. Microsoft Security riunisce funzionalità di gestione delle identità e degli accessi, rilevamento delle minacce, protezione dei dati e governance per aiutarti a mantenere il controllo dei sistemi autonomi. Grazie all'IA integrata per la cybersecurity integrata, puoi velocizzare le indagini e aiutare i team a collaborare in modo più efficiente. Insieme, queste soluzioni forniscono una base pratica per la gestione del rischio, la protezione dei sistemi di intelligenza artificiale e il supporto a un uso responsabile dell'IA agentica.