Čo je zabezpečenie agentickej AI?

Tradičné systémy AI sú navrhnuté na vykonávanie konkrétnych, vopred definovaných úloh na základe vstupov alebo historických údajov. Úsilie v oblasti zabezpečenia sa zvyčajne zameriava na ochranu modelov, zabezpečenie trénovacích údajov a overovanie výstupov počas prevádzky. Tieto opatrenia pomáhajú organizáciám udržiavať integritu a spoľahlivosť v definovanom rozsahu.

Autonómia a rozhodovacie schopnosti agentickej AI prinášajú výzvy, na ktoré tradičné prístupy neboli navrhnuté. Medzi kľúčové rozdiely patria:

• Správanie systému: Tradičné systémy AI reagujú na výzvy alebo vstupy, zatiaľ čo systémy agentickej AI aktívne plánujú a vykonávajú úlohy. Keďže agenti môžu konať samostatne, ich rozhodnutia môžu mať priamy prevádzkový vplyv.
• Rozhodovanie: Tradičná AI sa zvyčajne riadi vopred definovanou logikou alebo výstupmi modelu. Agentická AI prispôsobuje rozhodnutia podľa kontextu a priebežných výsledkov, čím sa správanie stáva menej predvídateľným a zvyšuje sa potreba nepretržitého monitorovania a mantinelov.
• Rozsah aktivity: Tradičná AI často funguje v rámci jednej aplikácie alebo pracovného postupu. Agentická AI môže zasahovať do viacerých systémov, nástrojov a zdrojov údajov, čím zvyšuje potenciálny vplyv chýb alebo kompromitácie.
• Používanie nástrojov: Tradičná AI sa vo všeobecnosti spolieha na vopred definované integrácie. Agentická AI môže dynamicky volať rozhrania API, nástroje a služby, čím vytvára ďalšie vstupné body na zneužitie alebo útok.
• Identita a prístup: Tradičná AI môže fungovať pod zdieľanými alebo implicitnými identitami služieb. Systémy agentickej AI zvyčajne vyžadujú samostatné identity a definované oprávnenia, preto je nevyhnutné riadenie identít a prístup s najmenšími oprávneniami.
• Možné miesto útokov: Zabezpečenie tradičnej AI sa zameriava najmä na ochranu vstupov modelu a trénovacích údajov. Agentická AI rozširuje možné miesto útokov o nástroje, pracovné postupy, pamäť a pripojené systémy, čím zvyšuje vystavenie zneužitiu a kompromitácii.

Organizácie, ktoré používajú štruktúrovaný proces, pravdepodobnejšie identifikujú, pochopia a spravujú riziká, ktorým môže systém čeliť. Pri modelovaní hrozieb v systémoch agentickej AI je dôležité rozšíriť pohľad nad rámec aplikácií, infraštruktúry a tokov údajov a zahrnúť:

Ciele a správanie agenta

Identifikujte potenciálne nechcené akcie tým, že určíte, na čo je agent navrhnutý, vrátane:

• Aké ciele môže sledovať.
• Ako plánuje a vykonáva úlohy.
• Akú úroveň autonómie má.

Identita a prístup

Príliš široký prístup zvyšuje riziko kompromitácie alebo zneužitia. Pri nastavovaní identít vyhodnoťte:

• Ku ktorým systémom a údajom môže agent pristupovať.
• Či oprávnenia dodržiavajú princípy najmenších oprávnení.
• Ako sa agent overuje voči iným službám.

Nástroje a integrácie

Agentické systémy sa pri dosahovaní cieľov spoliehajú na externé nástroje, čo môže rozšíriť možné miesto útokov. Ak chcete chrániť svoje prostredie, definujte:

• Ktoré rozhrania API, doplnky a databázy môže agent volať.
• Či sú vstupy a výstupy nástrojov overované.
• Ako sú akcie autorizované a obmedzované.

Vstupy a zdroje údajov

Agenti priebežne prijímajú informácie od ľudí a externých systémov. Ak chcete znížiť riziko nedôveryhodného vstupu, pozrite sa na:

• Vystavenie injektáži promptov alebo škodlivým vstupom.
• Otrava údajov alebo manipulácia s nimi.
• Hranice dôvery medzi internými a externými údajmi.

Pamäť a stav

Mnohí agenti si časom ukladajú kontext, čo môže zosilniť vplyv útoku. Na zníženie tohto rizika zvážte:

• Aké údaje sa ukladajú v pamäti.
• Či sa citlivé informácie uchovávajú alebo odhaľujú.
• Ako možno pamäť zmeniť alebo poškodiť.

Dokončenie úloh a akcie

Ak chcete zabrániť tomu, aby sa technické riziko zmenilo na prevádzkové riziko, vyhodnoťte:

• Aké akcie môže agent vykonať bez schválenia človekom.
• Ktoré ochranné opatrenia pomôžu obmedziť vysokorizikové operácie.
• Ktoré scenáre by mohli viesť k akciám reťaziacim sa naprieč systémami.

Monitorovanie a reakcia

Keďže správanie je dynamické, viditeľnosť je kľúčová. Monitorovanie, ktoré vám môže pomôcť detegovať alebo obmedziť problémy v reálnom čase, zahŕňa:

• Zaznamenávanie rozhodnutí a akcií.
• Detekciu anomálií alebo porušení politík.
• Vytvorenie možnosti pozastaviť, prepísať alebo vypnúť agenta.

Včasné riešenie rizík v procese návrhu a nasadenia vám môže pomôcť udržať dôveru a prevádzkovú integritu. Pri modelovaní hrozieb pre systémy agentickej AI pravdepodobne' identifikujete riziká v kategóriách, ako sú:

Riziká autonómie

Keďže agenti rozhodujú sami, môžu vykonať akcie, ktoré úplne nepredpokladáte. Jedna chyba môže spustiť reťazec automatizovaných krokov naprieč pripojenými systémami a viesť k nechceným zmenám, problémom s údajmi alebo prerušeniu prevádzky. Autonómia tiež znižuje predvídateľnosť správania. Keď sa agenti prispôsobujú novým vstupom a podmienkam, je ťažšie otestovať každý scenár alebo spoliehať sa na pevné pravidlá.

Bezpečnostné riziká

Pripojenia k rozhraniam API, systémom identít a externým nástrojom zvyšujú vystavenie. Ak útočníci dokážu využiť tieto integrácie, môžu eskalovať prístup alebo vydávať sa za dôveryhodné systémy, čo môže viesť k strate údajov alebo prevádzkovým problémom.

Riziká bezpečnosti a riadenia

Autonómna povaha agentickej AI robí dohľad mimoriadne dôležitým. Bez silného riadenia je ťažké spätne zistiť, čo sa stalo, pochopiť, prečo sa agent rozhodol určitým spôsobom, alebo určiť, kto nesie zodpovednosť.

Riziká dodávateľského reťazca a modelov

Agentická AI sa často spolieha na modely, knižnice a nástroje tretích strán, pričom každý z nich pridáva ďalšiu vrstvu rizika. Ak dôjde ku kompromitácii niektorého z týchto komponentov, môže to ovplyvniť celý systém. Útočník môže napríklad použiť škodlivú aktualizáciu rozhrania API tretej strany na manipuláciu správania agenta.

Etické faktory

Bez správnych kontrol môžu agenti vytvárať zaujaté výsledky alebo spracúvať údaje spôsobmi, ktoré sú v rozpore s očakávaniami v oblasti ochrany osobných údajov alebo predpisov. Jasné štandardy pomáhajú organizáciám presadzovať spravodlivosť, transparentnosť a dodržiavanie predpisov.

K bezpečnosti, spoľahlivosti a zosúladeniu systémov AI s obchodnými cieľmi môžete prispieť tým, že sa zameriate na niekoľko hlavných oblastí. Tieto piliere vám umožňujú udržiavať kontrolu nad správaním, prístupom a interakciami s inými systémami, takže vaši agenti môžu rozhodovať a vykonávať úlohy s minimálnym rizikom.

Správa identít a prístupu

Ak chcete zachovať zodpovednosť a sledovateľnosť, považujte svoje systémy agentickej AI za plnohodnotné identity a zahrňte ich do existujúcich rámcov riadenia identít. Každému agentovi priraďte jedinečné prihlasovacie údaje, vynucujte prístup s najmenšími oprávneniami a používajte silné mechanizmy overovania.

Mantinely a presadzovanie politík

Explicitné hranice správania agentov môžete nastaviť prostredníctvom riadenia na základe politík. Mantinely by mali obmedzovať, ku ktorým nástrojom môžu agenti pristupovať, aké akcie môžu vykonávať a za akých podmienok. Presadzovanie politík v reálnom čase vám pomôže zabrániť neoprávneným alebo nebezpečným akciám.

Pozorovateľnosť a monitorovanie

Pozorovateľnosť poskytuje viditeľnosť do správania agentov, rozhodnutí, prístupu k údajom a používania nástrojov. Umožňuje organizáciám detegovať anomálie, vyšetrovať riziká a presadzovať riadenie, aby agenti fungovali bezpečne, transparentne a v súlade s politikami. Nepretržité monitorovanie je kľúčové na detekciu anomálií v správaní agentov. Implementujte analytiku, ktorá sleduje akcie, rozhodnutia a používanie nástrojov agentmi.

Ochrana údajov

Agenti pri vykonávaní úloh často pracujú s citlivými údajmi. Ak chcete znížiť riziko úniku, šifrujte údaje pri prenose aj v pokoji, vynucujte prísne postupy minimalizácie údajov a monitorujte neoprávnený prístup k údajom.

Zabezpečenie modelov a dodávateľského reťazca

Zabezpečenie softvérového dodávateľského reťazca zohráva veľkú úlohu v zabezpečení agentickej AI. Je dôležité overiť, či sú modely, rozhrania API a nástroje tretích strán dôveryhodné a správajú sa podľa očakávaní. Pri všetkých externých komponentoch overte pôvod pomocou postupov, ako je podpisovanie kódu, overovanie balíkov a dôveryhodné distribučné zdroje.

Riadenie a ľudský dohľad

Nakoniec, ak chcete zosúladiť svoju agentickú AI s princípmi zodpovednej AI a požiadavkami na dodržiavanie predpisov, rozhodnite, aké akcie sú povolené, kto nesie zodpovednosť a ako budete rozhodnutia presadzovať.

Zabezpečenie agentickej AI vyžaduje proaktívny, vrstvený prístup, ktorý rieši technické aj riadiace výzvy. Niekoľko osvedčených postupov vám môže pomôcť vytvárať a škálovať systémy, ktoré spĺňajú obchodné ciele a zároveň riadia riziká.

Začnite úzkymi, dobre vymedzenými úlohami

Začnite nasadením agentickej AI v kontrolovaných prostrediach s obmedzenou funkčnosťou. Priradenie agentov k nízkorizikovým, jasne definovaným úlohám vám pomôže minimalizovať vplyv, ak sa niečo pokazí.

Používajte sandboxové prostredia na akcie agentov

Ak chcete znížiť riziko pre produkčné prostredia a citlivé údaje, izolujte operácie agentov v sandboxových alebo virtualizovaných prostrediach. Používajte kontroly klasifikácie údajov, napríklad označenia citlivosti, aby agenti pracovali len so schválenými údajmi na základe klasifikácie a citlivosti.

Implementujte vrstvené mantinely

Monitorovanie a riadenie dynamických systémov môže byť náročné, ale správanie agentov môžete obmedziť tým, že definujete, ku ktorým nástrojom môžu pristupovať, aké akcie môžu vykonávať a za akých podmienok. Priraďte agentom samostatné identity a vynucujte riadenie prístupu na základe rolí, aby ste určovali, ku ktorým údajom a systémom majú prístup. Pre maximálnu kontrolu kombinujte statické politiky s dynamickými kontrolami za behu.

Nepretržite testujte injektáž promptov a obchádzanie obmedzení

Keďže agentická AI môže konať autonómne a reťaziť viacero akcií, existuje riziko, že útočníci zmanipulujú jeden zo vstupov tak, aby sa správala nebezpečne alebo nechcene. Pravidelne vykonávajte red teaming a adversariálne testovanie, aby ste zachytili slabiny skôr ako útočníci.

Vytvorte eskalačné cesty a pracovné postupy riadenia

Vytvorte jasné eskalačné postupy pre vysokorizikové akcie. Pri citlivých operáciách, ako sú finančné transakcie alebo zmeny konfigurácie systému, implementujte kontrolné body so zapojením človeka.

Zosúlaďte sa s princípmi zodpovednej AI

Vytvárajte agentov, ktorí dodržiavajú etické štandardy, zásady férovosti a regulačné požiadavky, začlenením testovania zaujatosti, revízií vysvetliteľnosti a overovania dodržiavania predpisov. Zákony týkajúce sa AI a ochrany osobných údajov sa vyvíjajú, preto je vhodné pravidelne prehodnocovať, ako dobre s nimi vaše systémy držia krok.

Nie každý prípad použitia agentickej AI predstavuje rovnaké riziko. Pochopenie rozdielu medzi nízkorizikovými a vysokorizikovými scenármi vám pomôže určiť, kde začať a aké kontroly implementovať. Rozdiely ilustrujú dva bežné prípady použitia zabezpečenia agentickej AI:

Triedenie zákazníckej podpory (nízke riziko)

V tomto scenári systém agentickej AI pomáha tímu zákazníckej podpory kategorizovať prichádzajúce tikety, navrhovať odpovede a smerovať problémy na správne oddelenie.

• Prečo ide o nízke riziko:
  • Agent funguje v kontrolovanom prostredí.
  • Akcie sú obmedzené na klasifikáciu tiketov a návrhy odpovedí.
  • Neexistuje priamy prístup k citlivým finančným alebo prevádzkovým systémom.
• Bezpečnostné aspekty:
  • Použite mantinely, ktoré zabránia agentovi eskalovať tikety bez schválenia.
  • Monitorujte pokusy o injektáž promptov, ktoré by mohli zmanipulovať smerovanie tiketov.

Automatizácia finančných transakcií (vysoké riziko)

V tomto prípade je systém agentickej AI oprávnený iniciovať a schvaľovať finančné transakcie na základe vopred definovaných obchodných pravidiel.

• Prečo ide o vysoké riziko:
  • Agent má priamy prístup k finančným systémom a citlivým údajom.
  • V prípade kompromitácie existuje potenciál pre rozsiahly podvod alebo prerušenie prevádzky.
• Bezpečnostné aspekty:
  • Vynucujte pre agenta prísnu správu identít a prístupu.
  • Implementujte schvaľovanie človekom pre transakcie s vysokou hodnotou.
  • Nepretržite monitorujte anomálne vzory transakcií.

Pred nasadením alebo škálovaním systémov agentickej AI si nájdite čas a dôkladne skontrolujte pripravenosť organizácie v niekoľkých kľúčových oblastiach:

• Vyspelosť riadenia. Sú zavedené eskalačné cesty a schvaľovacie pracovné postupy?
• Kontroly identít. Zaobchádza sa s agentmi ako s jedinečnými identitami s prístupom s najmenšími oprávneniami?
• Možnosti monitorovania. Dokáže organizácia detegovať anomálne správanie agentov a reagovať naň v reálnom čase?
• Tolerancia rizika. Rozumie firma potenciálnemu vplyvu autonómie agentov vo zvolenom prípade použitia a akceptuje ho?

Začiatkom s nízkorizikovými scenármi a postupným zavádzaním agentickej AI do zložitejších pracovných postupov môže vaša organizácia budovať dôveru a zároveň zachovať zabezpečenie a súlad s predpismi.

Zabezpečenie agentickej AI je základnou súčasťou zodpovedného zavádzania autonómnych systémov. Keď tieto systémy preberajú viac rozhodovania a prepájajú sa naprieč prostrediami, prinášajú riziká, na ktorých riadenie tradičné bezpečnostné prístupy neboli navrhnuté. Riadenie identít, jasné presadzovanie politík a nepretržité monitorovanie pomáhajú udržiavať systémy zosúladené s obchodným zámerom a požiadavkami na dodržiavanie predpisov. Proaktívnym prístupom pomôžete udržať dôveru, znížiť vystavenie novým hrozbám a udržať autonómne správanie v definovaných hraniciach.

Bezpečnejšie nasadenie AI vo svojej organizácii môžete podporiť pomocou súboru zjednotených riešení od Microsoftu na zabezpečenie agentickej AI. Zabezpečenie od spoločnosti Microsoft spája možnosti správy identít a prístupu, detekcie hrozieb, ochrany údajov a riadenia, ktoré vám pomôžu udržať kontrolu nad autonómnymi systémami. Vďaka vstavanému riešeniu AI pre kybernetickú bezpečnosť môžete zrýchliť vyšetrovania a pomôcť tímom efektívnejšie spolupracovať. Tieto riešenia spoločne poskytujú praktický základ na riadenie rizík, ochranu systémov AI a podporu zodpovedného používania agentickej AI.