Какво е сигурност на агентен ИИ?

Традиционните ИИ системи са проектирани да изпълняват конкретни, предварително определени задачи въз основа на входни данни или исторически данни. Обикновено усилията за сигурност се фокусират върху защитата на моделите, опазването на данните за обучение и валидирането на изходните данни по време на работа. Тези мерки помагат на организациите да поддържат цялостност и надеждност в определен обхват.

Автономността и възможностите за вземане на решения на агентни ИИ носят предизвикателства, с които традиционните подходи не са били проектирани да се справят. Основните разлики включват:

• Поведение на системата: Традиционните ИИ системи реагират на подкани или входни данни, докато агентните ИИ системи активно планират и изпълняват задачи. Тъй като агентите могат да действат самостоятелно, техните решения могат да имат пряко оперативно въздействие.
• Вземане на решения: Традиционният ИИ обикновено следва предварително определена логика или изходни данни на модела. Агентният ИИ адаптира решенията си въз основа на контекста и междинните резултати, което прави поведението по-малко предвидимо и увеличава нуждата от непрекъснато наблюдение и предпазни механизми.
• Обхват на дейност: Традиционният ИИ често работи в рамките на едно приложение или работен процес. Агентният ИИ може да обхваща множество системи, инструменти и източници на данни, което увеличава потенциалното въздействие на грешки или компрометиране.
• Използване на инструменти: Традиционният ИИ обикновено разчита на предварително определени интеграции. Агентният ИИ може динамично да извиква API, инструменти и услуги, създавайки допълнителни точки за неправомерна употреба или атака.
• Идентичност и достъп: Традиционният ИИ може да работи под споделени или имплицитни служебни идентичности. Системите с агентен ИИ обикновено изискват отделни идентичности и определени разрешения, което прави управлението на идентичностите и достъпа с най-ниски привилегии съществено.
• Повърхност на атака: Традиционната ИИ сигурност се фокусира основно върху защитата на входните данни на модела и данните за обучение. Агентният ИИ разширява повърхността на атака, за да включи инструменти, работни процеси, памет и свързани системи, което увеличава излагането на неправомерна употреба и компрометиране.

Организациите, които използват структуриран процес, са по-склонни да идентифицират, разбират и управляват рисковете, пред които една система може да се изправи. Когато моделирате заплахи в системи с агентен ИИ, е важно да разширите обхвата отвъд приложенията, инфраструктурата и потокa от данни, за да включите:

Целите и поведението на агента

Идентифицирайте потенциални непредвидени действия, като определите какво е проектиран да прави агентът, включително:

• Какви цели може да преследва.
• Как планира и изпълнява задачи.
• Какво ниво на автономност има.

Управление на идентичност

Твърде широкият достъп увеличава риска от компрометиране или неправомерна употреба. Когато настройвате идентичности, оценете:

• До кои системи и данни може да има достъп агентът.
• Дали разрешенията следват принципите за най-ниски привилегии.
• Как агентът се удостоверява пред други услуги.

Инструменти и интеграции

Агентните системи разчитат на външни инструменти, за да изпълняват цели, което може да разшири повърхността на атака. За да защитите вашата среда, определете:

• Кои API, разширения и бази данни може да извиква агентът.
• Дали входните и изходните данни на инструментите се валидират.
• Как действията се оторизират и ограничават.

Входни данни и източници на данни

Агентите непрекъснато получават информация от хора и външни системи. За да намалите риска от ненадежден вход, обърнете внимание на:

• Излагане на инжектиране на подканващи инструкции или злонамерени входни данни.
• Отравяне на данни или манипулиране.
• Границите на доверие между вътрешни и външни данни.

Памет и състояние

Много агенти запазват контекста във времето, което може да усили въздействието на атака. За да намалите този риск, помислете за:

• Какви данни се съхраняват в паметта.
• Дали чувствителната информация се запазва или разкрива.
• Как паметта може да бъде променена или повредена.

Изпълнение на задачи и действия

За да помогнете да предотвратите превръщането на техническия риск в оперативен риск, оценете:

• Какви действия агентът може да предприема без одобрение от човек.
• Кои защитни механизми ще помогнат да се ограничат високорисковите операции.
• Кои сценарии могат да доведат до действия, които се разпространяват между системите.

Наблюдение и реакция

Тъй като поведението е динамично, видимостта е ключова. Мониторингът, който може да ви помогне да откривате или ограничавате проблеми в реално време, включва:

• Регистриране на решения и действия.
• Откриване на аномалии или нарушения на правилата.
• Създаване на възможност за поставяне на пауза, заобикаляне или изключване на агента.

Обръщането на внимание на рисковете рано в процеса на проектиране и внедряване може да ви помогне да запазите доверието и оперативната цялост. Когато моделирате заплахи за вашите агентни ИИ системи, вие'вероятно ще идентифицирате рискове в категории, които включват:

Рискове, свързани с автономността

Тъй като агентите вземат решения самостоятелно, те може да предприемат действия, които не очаквате напълно. Една единствена грешка може да задейства верига от автоматизирани стъпки в свързани системи, което да доведе до непредвидени промени, проблеми с данните или оперативни смущения. Автономността също прави поведението по-малко предвидимо. Тъй като агентите се адаптират към нови входни данни и условия, става по-трудно да се тества всеки сценарий или да се разчита на фиксирани правила.

Рисковете за защитата

Връзките към API, системи за идентичности и външни инструменти увеличават нивото на уязвимост. Ако атакуващите успеят да се възползват от тези интеграции, те могат да повишат правата за достъп или да се представят за доверени системи, което да доведе до потенциална загуба на данни или оперативни проблеми.

Рискове за сигурността и управлението

Автономният характер на агентния ИИ прави надзора изключително важен. Без силно управление става трудно да се проследи какво се е случило, да се разбере защо агентът е взел дадено решение или да се определи кой носи отговорност.

Рискове, свързани с веригата на доставки и модела

Агентният ИИ често разчита на модели, библиотеки и инструменти на трети страни, като всеки от тях добавя още един слой риск. Ако някой от тези компоненти бъде компрометиран, това може да засегне цялата система. Например атакуващ може да използва злонамерена актуализация на API на трета страна, за да манипулира поведението на агента.

Етични съображения

Без подходящи контроли агентите може да създават пристрастни резултати или да обработват данни по начини, които противоречат на очакванията за поверителност или нормативно съответствие. Ясните стандарти помагат на организациите да налагат справедливост, прозрачност и съответствие.

Можете да помогнете вашите ИИ системи да бъдат защитени, надеждни и съобразени с бизнес целите, като се фокусирате върху няколко основни области. Тези опорни точки ви позволяват да поддържате контрол върху поведението, достъпа и взаимодействията с други системи, така че вашите агенти да могат да вземат решения и да изпълняват задачи с минимален риск.

Управление на самоличности и достъп

За да поддържате отчетност и проследимост, третирайте вашите агентни ИИ системи като идентичности от първи клас и ги включвайте в съществуващите рамки за управление на идентичности. Присвоявайте уникални идентификационни данни на всеки агент, прилагайте достъп с минимални права и използвайте силни механизми за удостоверяване.

Предпазни механизми и прилагане на правила

Можете да зададете ясни граници за поведението на агента чрез контроли, базирани на политики. Защитните ограничения трябва да ограничават до кои инструменти могат да имат достъп агентите, какви действия могат да предприемат и при какви условия. Налагането на политики в реално време ще ви помогне да предотвратите неоторизирани или опасни действия.

Наблюдаемост и мониторинг

Наблюдаемостта осигурява видимост върху поведението на агента, решенията, достъпа до данни и използването на инструменти. Тя позволява на организациите да откриват аномалии, да разследват рискове и да прилагат управление, така че агентите да работят защитено, прозрачно и в съответствие с политиките. Непрекъснатият мониторинг е ключов за откриване на аномалии в поведението на агента. Внедрете анализи, които проследяват действията на агента, решенията и използването на инструменти.

Защита на данните

Агентите често обработват чувствителни данни, докато изпълняват задачи. За да намалите риска от изтичане, приложете шифроване за данните при пренос и в покой, въведете строги практики за минимизиране на данните и следете за неоторизиран достъп до данни.

Сигурност на модела и веригата на доставки

Сигурността на вашата софтуерна верига за доставки играе голяма роля в сигурността на агентния ИИ. Важно е да потвърдите, че моделите, API и инструментите на трети страни са надеждни и се държат според очакванията. За всички външни компоненти проверявайте произхода чрез практики като подписване на код, валидиране на пакети и доверени източници за разпространение.

Управление и човешки надзор

Накрая, за да съгласувате вашия агентен ИИ с принципите за отговорен ИИ и изискванията за нормативно съответствие, решете какви действия са позволени, кой носи отговорност и как ще прилагате решенията.

Защитата на агентния ИИ изисква проактивен, многослоен подход, който адресира както техническите, така и управленските предизвикателства. Няколко добри практики могат да ви помогнат да изграждате и мащабирате системи, които отговарят на бизнес целите, като същевременно управлявате риска.

Започнете с малки, добре обхванати задачи

Започнете с внедряване на агентен ИИ в контролирани среди с ограничена функционалност. Възлагането на агенти на нискорискови, ясно дефинирани задачи ще ви помогне да сведете до минимум въздействието, ако нещо се обърка.

Използвайте изолирани среди за действията на агентите

За да намалите риска за производствените среди и чувствителните данни, изолирайте операциите на агента в пясъчни или виртуализирани среди. Прилагайте контроли за класификация на данните, като етикети за чувствителност, за да гарантирате, че агентите взаимодействат само с одобрени данни въз основа на класификацията и чувствителността.

Внедрете многослойни предпазни мерки

Може да е трудно да се наблюдават и контролират динамични системи, но можете да ограничите поведението на агента, като определите до кои инструменти могат да имат достъп, какви действия могат да извършват и при какви условия. Присвоявайте отделни идентичности на агентите и прилагайте контроли за достъп, базирани на роли, за да управлявате до какви данни и системи могат да имат достъп. За максимален контрол комбинирайте статични политики с динамични проверки по време на изпълнение.

Непрекъснато тествайте за атаки чрез инжектиране на инструкции и заобикаляне на ограниченията на модела

Тъй като агентният ИИ може да действа автономно и да свързва няколко действия едно с друго, съществува риск атакуващите да манипулират някой от входовете му, за да го накарат да се държи по опасен или непредвиден начин. Редовно провеждайте red teaming упражнения и тестове с враждебни сценарии, за да откривате слабостите преди нападателите.

Създайте пътища за ескалация и работни процеси за управление

Създайте ясни процедури за ескалация при високорискови действия. За чувствителни операции, като финансови транзакции или промени в системната конфигурация, въведете контролни точки с участие на човек.

Следване на принципите за отговорен ИИ

Създавайте агенти, които спазват етични стандарти, насоки за справедливост и регулаторни изисквания, като включите тестване за пристрастия, прегледи за обяснимост и валидиране на съответствието. Законите за ИИ и поверителност на данните се развиват, затова е добра идея редовно да преоценявате доколко добре системите ви успяват да се адаптират.

Не всеки случай на използване на агентен ИИ носи еднакъв риск. Разбирането на разликата между нискорискови и високорискови сценарии може да ви помогне да определите откъде да започнете и какви контроли да внедрите. Два често срещани сценария за сигурност на агентен ИИ помагат да се илюстрират разликите:

Класиране на заявките за клиентска поддръжка (нисък риск)

В този сценарий агентен ИИ система подпомага екип за поддръжка на клиенти, като категоризира входящи заявки, предлага отговори и насочва проблемите към правилния отдел.

• Защо е с нисък риск:
  • Агентът работи в контролирана среда.
  • Действията са ограничени до класификация на заявки и предложения за отговор.
  • Няма директен достъп до чувствителни финансови или оперативни системи.
• Съображения за сигурност:
  • Приложете защитни мерки, за да предотвратите ескалирането на заявки от агента без одобрение.
  • Следете за опити за инжектиране на инструкции, които могат да манипулират маршрутизирането на билети.

Автоматизиране на финансови трансакции (висок риск)

Тук агентна ИИ система е упълномощена да инициира и одобрява финансови транзакции въз основа на предварително дефинирани бизнес правила.

• Защо е с висок риск:
  • Агентът има директен достъп до финансови системи и чувствителни данни.
  • Съществува потенциал за мащабна измама или оперативно прекъсване, ако бъде компрометиран.
• Съображения за сигурност:
  • Прилагайте строг контрол върху идентичността и достъпа за агента.
  • Въведете одобрение с участие на човек за трансакции на висока стойност.
  • Непрекъснато наблюдавайте за аномални модели на трансакции.

Преди да внедрите или мащабирате системи с агентен ИИ, отделете време да проверите готовността на вашата организация в няколко ключови области:

• Зрялост на управлението. Има ли въведени пътища за ескалация и работни потоци за одобрение?
• Контроли за самоличност. Третират ли се агентите като уникални идентичности с достъп с минимални привилегии?
• Възможности за наблюдение. Може ли организацията да открива и реагира на аномално поведение на агентите в реално време?
• Толерантност към риск. Разбира ли и приема ли бизнесът потенциалното въздействие на автономността на агента в избрания случай на използване?

Като започнете с нискорискови сценарии и постепенно въвеждате агентен ИИ в по-сложни работни потоци, вашата организация може да изгради увереност, като същевременно запази сигурността и съответствието.

Осигуряването на сигурност за агентен ИИ е основна част от отговорното внедряване на автономни системи. Тъй като тези системи поемат повече вземане на решения и се свързват между среди, те въвеждат рискове, които традиционните подходи за сигурност не са проектирани да управляват. Управлението на идентичността, ясното прилагане на политики и непрекъснатото наблюдение играят роля за поддържането на системите в съответствие с бизнес целите и изискванията за съответствие. Като предприемете проактивен подход, ще помогнете да запазите доверието, да намалите излагането на нововъзникващи заплахи и да поддържате автономното поведение в рамките на определени граници.

Можете да подпомогнете по-сигурното внедряване на ИИ във вашата организация с набор от унифицирани решения за сигурност на агентен ИИ от Microsoft. Microsoft Security обединява управление на идентичността и достъпа, откриване на заплахи, защита на данните и управление , за да ви помогне да поддържате контрол над автономните системи. С вграден ИИ за киберсигурност можете да ускорите разследванията и да помогнете на екипите да работят заедно по-ефективно. Заедно тези решения осигуряват практична основа за управление на риска, защита на ИИ системите и подпомагане на отговорното използване на агентен ИИ.