Qu’est-ce que la sécurité de l’IA agentique ?

Les systèmes d’IA traditionnels sont conçus pour exécuter des tâches spécifiques et prédéfinies à partir d’entrées ou de données historiques. Les efforts de sécurité se concentrent généralement sur la protection des modèles, la sécurisation des données d’entraînement et la validation des résultats pendant l’exploitation. Ces mesures aident les entreprises à préserver l’intégrité et la fiabilité dans un périmètre défini.

L’autonomie et les capacités de prise de décision de l’IA agentique apportent des défis que les approches traditionnelles n’ont pas été conçues pour traiter. Les principales différences incluent :

• Comportement du système : Les systèmes d’IA traditionnels répondent aux invites ou aux entrées, tandis que les systèmes d’IA agentique planifient et exécutent activement des tâches. Parce que les agents peuvent agir de manière indépendante, leurs décisions peuvent avoir un impact opérationnel direct.
• Prise de décision : L’IA traditionnelle suit généralement une logique prédéfinie ou les résultats du modèle. L’IA agentique adapte ses décisions en fonction du contexte et des résultats intermédiaires, ce qui rend le comportement moins prévisible et accroît le besoin d’une surveillance continue et de garde-fous.
• Périmètre d’activité : L’IA traditionnelle fonctionne souvent dans une seule application ou un seul flux de travail. L’IA agentique peut s’étendre à plusieurs systèmes, outils et sources de données, ce qui augmente l’impact potentiel des erreurs ou d’une compromission.
• Utilisation des outils : L’IA traditionnelle s’appuie généralement sur des intégrations prédéfinies. L’IA agentique peut appeler dynamiquement des API, des outils et des services, créant ainsi des points d’entrée supplémentaires pour une utilisation abusive ou une attaque.
• Identité et accès : L’IA traditionnelle peut s’exécuter sous des identités de service partagées ou implicites. Les systèmes d’IA agentique nécessitent généralement des identités distinctes et des autorisations définies, ce qui rend la gouvernance des identités et l’accès au moindre privilège essentiels.
• Surface d’attaque : La sécurité de l’IA traditionnelle se concentre principalement sur la protection des entrées du modèle et des données d’entraînement. L’IA agentique étend la surface d’attaque aux outils, aux workflows, à la mémoire et aux systèmes connectés, ce qui augmente l’exposition à une utilisation abusive et à une compromission.

Les entreprises qui utilisent un processus structuré sont plus susceptibles d’identifier, de comprendre et de gérer les risques auxquels un système peut être confronté. Lors de la modélisation des menaces dans les systèmes d’IA agentique, il est important d’aller au-delà des applications, de l’infrastructure et des flux de données pour inclure :

Les objectifs et les comportements de l’agent

Identifiez les actions involontaires potentielles en définissant ce que l’agent est censé faire, notamment :

• Quels objectifs il peut poursuivre.
• Comment il planifie et exécute les tâches.
• Quel niveau d’autonomie il possède.

Identité et accès

Un accès trop large augmente le risque de compromission ou d’utilisation abusive. Lors de la configuration des identités, évaluez :

• Auxquels le système et les données l’agent peut accéder.
• Si les autorisations suivent les principes du moindre privilège.
• Comment l’agent s’authentifie auprès des autres services.

Outils et intégrations

Les systèmes agentiques s’appuient sur des outils externes pour atteindre leurs objectifs, ce qui peut élargir la surface d’attaque. Pour protéger votre environnement, définissez :

• Les API, plug-ins et bases de données que l’agent peut appeler.
• Si les entrées et les sorties des outils sont validées.
• Comment les actions sont autorisées et limitées.

Entrées et sources de données

Les agents prennent en continu en compte des informations provenant de personnes et de systèmes externes. Pour réduire le risque lié aux entrées non fiables, examinez :

• L’exposition aux injections de requête ou aux entrées malveillantes.
• L’empoisonnement ou la manipulation des données.
• Les frontières de confiance entre les données internes et externes.

Mémoire et état

De nombreux agents conservent le contexte au fil du temps, ce qui peut amplifier l’impact d’une attaque. Pour réduire ce risque, envisagez :

• Quelles données sont stockées dans la mémoire.
• Que les informations sensibles soient conservées ou divulguées.
• Comment la mémoire peut être modifiée ou endommagée.

Achèvement des tâches et actions

Pour aider à éviter qu’un risque technique ne devienne un risque opérationnel, évaluez :

• Quelles actions l’agent peut effectuer sans l’approbation d’une personne.
• Quels garde-fous aideront à limiter les opérations à haut risque.
• Quels scénarios pourraient conduire à des actions en cascade entre les systèmes.

Surveillance et réponse

Comme le comportement est dynamique, la visibilité est essentielle. La surveillance pouvant vous aider à détecter ou à contenir les problèmes en temps réel comprend :

• Journalisation des décisions et des actions.
• Détection des anomalies ou des violations de stratégie.
• Créer la possibilité de mettre l’agent en pause, de le réinitialiser ou de l’arrêter.

Traiter les risques dès le début du processus de conception et de déploiement peut vous aider à préserver la confiance et l’intégrité opérationnelle. À mesure que vous modélisez les menaces pesant sur vos systèmes d’IA agentique, vous'identifierez probablement des risques dans différentes catégories, notamment :

Risques liés à l’autonomie

Parce que les agents prennent des décisions de manière autonome, ils peuvent effectuer des actions que vous n’anticipez pas entièrement. Une seule erreur peut déclencher une chaîne d’étapes automatisées dans des systèmes connectés, entraînant des modifications involontaires, des problèmes de données ou une perturbation opérationnelle. L’autonomie rend également le comportement moins prévisible. À mesure que les agents s’adaptent à de nouvelles entrées et à de nouvelles conditions, il devient plus difficile de tester chaque scénario ou de s’appuyer sur des règles fixes.

Risques de sécurité

Les connexions aux API, aux systèmes d’identité et aux outils externes augmentent l’exposition. Si des personnes malveillantes parviennent à exploiter ces intégrations, elles pourraient élever leurs privilèges ou usurper l’identité de systèmes de confiance, ce qui pourrait entraîner une perte de données ou des problèmes opérationnels.

Risques liés à la sûreté et à la gouvernance

La nature autonome de l’IA agentique rend la supervision extrêmement importante. Sans gouvernance solide, il devient difficile de retracer ce qui s’est passé, de comprendre pourquoi l’agent a pris une décision ou de déterminer qui est responsable.

Risques liés à la chaîne d’approvisionnement et au modèle

L’IA agentique s’appuie souvent sur des modèles, des bibliothèques et des outils tiers, chacun ajoutant une couche de risque supplémentaire. Si l’un de ces composants est compromis, l’ensemble du système peut être affecté. Par exemple, une personne malveillante pourrait utiliser une mise à jour malveillante d’une API tierce pour manipuler le comportement de l’agent.

Considérations éthiques

Sans contrôles appropriés, les agents peuvent produire des résultats biaisés ou traiter les données d’une manière qui ne respecte pas les exigences en matière de confidentialité ou de réglementation. Des normes claires aident les entreprises à appliquer l’équité, la transparence et la conformité.

Vous pouvez aider à rendre vos systèmes d’IA sûrs, fiables et alignés sur les objectifs de l’entreprise en vous concentrant sur quelques domaines clés. Ces piliers vous permettent de conserver le contrôle sur le comportement, l’accès et les interactions avec d’autres systèmes, pour que vos agents puissent prendre des décisions et effectuer des tâches avec un risque minimal.

Gestion des identités et des accès

Pour maintenir la responsabilité et la traçabilité, traitez vos systèmes d’IA agentique comme des identités de premier ordre et intégrez-les aux cadres de gouvernance des identités existants. Attribuez des informations d’identification uniques à chaque agent, appliquez le principe du moindre privilège pour les accès et mettez en place des mécanismes d’authentification robustes.

Mesures de protection et application des stratégies

Vous pouvez définir des limites explicites pour le comportement des agents au moyen de contrôles basés sur des stratégies. Les garde-fous doivent restreindre les outils auxquels les agents peuvent accéder, les actions qu’ils peuvent effectuer et les conditions dans lesquelles ils peuvent agir. L’application des stratégies en temps réel vous aidera à empêcher les actions non autorisées ou dangereuses.

Observabilité et supervision

Observabilité fournit une visibilité sur le comportement des agents, leurs décisions, l’accès aux données et l’utilisation des outils. Elle permet aux entreprises de détecter les anomalies, d’examiner les risques et d’appliquer la gouvernance pour que les agents fonctionnent de manière sécurisée, transparente et conforme aux stratégies. La surveillance continue est essentielle pour détecter les anomalies dans le comportement des agents. Mettez en place des analyses qui suivent les actions, les décisions et l’utilisation des outils par les agents.

Protection des données

Les agents traitent souvent des données sensibles lorsqu’ils exécutent leurs tâches. Pour réduire votre risque de fuite, appliquez le chiffrement aux données en transit et au repos, imposez des pratiques strictes de minimisation des données et surveillez tout accès non autorisé aux données.

Sécurité du modèle et de la chaîne d’approvisionnement

La sécurité de votre chaîne d’approvisionnement logicielle joue un rôle majeur dans la sécurité de l’IA agentique. Il est important de vérifier que les modèles, API et outils tiers sont fiables et qu’ils se comportent comme prévu. Pour tous les composants externes, vérifiez leur provenance au moyen de pratiques telles que la signature du code, la validation des packages et l’utilisation de sources de distribution de confiance.

Gouvernance et supervision humaine

Enfin, pour aligner votre IA agentique sur les principes d’IA responsable et les exigences de conformité réglementaire, déterminez quelles actions sont autorisées, qui est responsable et comment vous appliquerez les décisions.

La sécurisation de l’IA agentique nécessite une approche proactive et multicouche qui traite à la fois les enjeux techniques et de gouvernance. Quelques bonnes pratiques peuvent vous aider à développer et à déployer à grande échelle des systèmes qui répondent aux objectifs de l’entreprise tout en maîtrisant les risques.

Commencez par des tâches ciblées, bien délimitées

Commencez par déployer l’IA agentique dans des environnements contrôlés avec des fonctionnalités limitées. Attribuer aux agents des tâches à faible risque et clairement définies vous aidera à minimiser l’impact en cas de problème.

Utilisez des environnements isolés pour les actions des agents

Pour réduire le risque pour les environnements de production et les données sensibles, isolez les opérations des agents dans des environnements sandbox ou virtualisés. Appliquez des contrôles de classification des données, tels que les étiquettes de sensibilité, pour garantir que les agents interagissent uniquement avec les données approuvées en fonction de leur classification et de leur sensibilité.

Mettez en place des garde-fous à plusieurs niveaux

Il peut être difficile de surveiller et de contrôler des systèmes dynamiques, mais vous pouvez limiter le comportement des agents en définissant les outils auxquels ils peuvent accéder, les actions qu’ils peuvent effectuer et les conditions dans lesquelles ils peuvent agir. Attribuez des identités distinctes aux agents et appliquez des contrôles d’accès basés sur les rôles pour gérer les données et les systèmes auxquels ils peuvent accéder. Pour un contrôle maximal, combinez des stratégies statiques avec des vérifications dynamiques à l’exécution.

Testez en continu les tentatives d’injection de prompt et de jailbreak

Parce que l’IA agentique peut agir de manière autonome et enchaîner plusieurs actions, il existe un risque que des personnes malveillantes manipulent l’une de ses entrées pour la faire se comporter de manière dangereuse ou non souhaitée. Menez régulièrement des exercices de red team et des tests adversariaux pour détecter les faiblesses avant les personnes malveillantes.

Établissez des chemins d’escalade et des flux de travail de gouvernance

Créez des procédures d’escalade claires pour les actions à haut risque. Pour les opérations sensibles, comme les transactions financières ou les modifications de la configuration système, mettez en place des points de contrôle avec intervention humaine.

Adhérez aux principes de l’IA responsable

Développez des agents qui respectent les normes éthiques, les principes d’équité et les exigences réglementaires en intégrant des tests de biais, des examens d’explicabilité et des validations de conformité. Les lois sur l’IA et la confidentialité des données évoluent. Il est donc recommandé de réévaluer régulièrement dans quelle mesure vos systèmes suivent le rythme.

Tous les cas d’usage d’IA agentique ne présentent pas le même niveau de risque. Comprendre la différence entre les scénarios à faible risque et à haut risque peut vous aider à prioriser les points de départ et les contrôles à mettre en place. Deux cas d’usage courants de sécurité de l’IA agentique illustrent ces différences :

Tri du support client (faible risque)

Dans ce scénario, un système d’IA agentique aide une équipe de support client en catégorisant les tickets entrants, en suggérant des réponses et en acheminant les incidents vers le bon service.

• Pourquoi est-ce à faible risque :
  • L’agent fonctionne dans un environnement contrôlé.
  • Les actions se limitent à la classification des tickets et aux suggestions de réponse.
  • Il n’a pas d’accès direct aux systèmes financiers ou opérationnels sensibles.
• Considérations de sécurité :
  • Appliquez des garde-fous pour empêcher l’agent d’escalader des tickets sans approbation.
  • Surveillez les tentatives d’injection de prompt qui pourraient manipuler l’acheminement des tickets.

Automatisation des transactions financières (risque élevé)

Ici, un système d’IA agentique est autorisé à initier et à approuver des transactions financières en fonction de règles métier prédéfinies.

• Pourquoi est-ce à risque élevé :
  • L’agent a un accès direct aux systèmes financiers et aux données sensibles.
  • Il existe un risque de fraude à grande échelle ou de perturbation opérationnelle en cas de compromission.
• Considérations de sécurité :
  • Renforcez strictement la gestion des identités et des accès pour l’agent.
  • Mettez en place une approbation avec intervention humaine pour les transactions de grande valeur.
  • Surveillez en continu les schémas de transaction anormaux.

Avant de déployer ou de faire évoluer des systèmes d’IA agentique, prenez le temps de vérifier que votre entreprise est prête dans quelques domaines clés :

• Maturité de la gouvernance. Des chemins d’escalade et des flux de travail d’approbation sont-ils en place ?
• Contrôles d’identité. Les agents sont-ils traités comme des identités uniques avec un accès au moindre privilège ?
• Capacités de surveillance. L’entreprise peut-elle détecter et traiter en temps réel un comportement anormal des agents ?
• Tolérance au risque. L’entreprise comprend-elle et accepte-t-elle l’impact potentiel de l’autonomie des agents dans le cas d’usage choisi ?

En commençant par des scénarios à faible risque, puis en introduisant progressivement l’IA agentique dans des flux de travail plus complexes, votre entreprise peut gagner en confiance tout en préservant la sécurité et la conformité.

La sécurisation de l’IA agentique est un élément essentiel d’une adoption responsable des systèmes autonomes. À mesure que ces systèmes prennent davantage de décisions et se connectent à travers différents environnements, ils introduisent des risques que les approches de sécurité traditionnelles n’ont pas été conçues pour gérer. La gouvernance des identités, l’application claire des stratégies et la surveillance continue contribuent à maintenir les systèmes en phase avec l’intention métier et les exigences de conformité. En adoptant une approche proactive, vous contribuerez à maintenir la confiance, à réduire l’exposition aux menaces émergentes et à garder le comportement autonome dans des limites définies.

Vous pouvez favoriser un déploiement plus sûr de l’IA dans votre entreprise grâce à un ensemble de solutions de sécurité d’IA agentique unifiées de Microsoft. Microsoft Security réunit la gestion des identités et des accès, la détection des menaces, la protection des données et les capacités de gouvernance pour vous aider à garder le contrôle des systèmes autonomes. Avec l’ IA intégrée pour la cybersécurité, vous pouvez accélérer les enquêtes et aider les équipes à travailler ensemble plus efficacement. Ensemble, ces solutions fournissent une base pratique pour gérer les risques, protéger les systèmes d’IA et favoriser une utilisation responsable de l’IA agentique.