Kaj je agentska varnost UI?

Tradicionalni sistemi UI so zasnovani tako, da izvajajo določena, vnaprej opredeljena opravila na podlagi vhodnih ali zgodovinskih podatkov. Varnostna prizadevanja se običajno osredotočajo na zaščito modelov, zaščito podatkov za usposabljanje in preverjanje rezultatov med postopkom. S temi ukrepi lahko organizacije ohranijo celovitost in zanesljivost v določenem obsegu.

Avtonomnost in zmožnosti odločanja pri agentskem UI prinašajo izzive, za katere tradicionalni pristopi niso bili zasnovani za obravnavo. Ključne razlike vključujejo:

• Vedenje sistema: običajni sistemi UI se odzivajo na pozive ali vnose, medtem ko agentski sistemi UI aktivno načrtujejo in izvajajo opravila. Posredniki lahko ukrepajo neodvisno, zato lahko njihove odločitve neposredno vplivajo na delovanje.
• Sprejemanje odločitev: tradicionalna UI običajno sledi vnaprej določeni logiki ali rezultatom modela. Agentska UI prilagaja odločitve na podlagi konteksta in vmesnih rezultatov, zaradi česar je vedenje manj predvidljivo, povečuje pa se tudi zahteva po neprekinjenem nadzoru in varovalih.
• Obseg dejavnosti: tradicionalna UI pogosto deluje znotraj ene aplikacije ali poteka dela. Agentska UI lahko obsega več sistemov, orodij in virov podatkov, kar poveča morebitni vpliv napak ali ogroženost.
• Uporaba orodja: tradicionalna UI je na splošno odvisna od vnaprej določenih integracij. Agentska UI lahko dinamično pokliče vmesnike API, orodja in storitve ter ustvari dodatne vstopne točke za zlorabo ali napad.
• Identiteta in dostop: tradicionalna UI se lahko izvaja v skupnih ali implicitnih identitetah storitev. Agentski sistemi UI običajno zahtevajo različne identitete in določena dovoljenja, zaradi česar je upravljanje identitete in dostop z najmanj pravicami bistvenega pomena.
• Površina napada: tradicionalna varnost UI se osredotoča predvsem na zaščito vnosov modelov in podatkov za učenje. Agentska UI razširi tarčo napada tako, da vključuje orodja, poteke dela, pomnilnik in povezane sisteme, kar povečuje izpostavljenost zlorabi in ogroženosti.

Organizacije, ki uporabljajo strukturiran proces, bodo bolj verjetno prepoznale, razumele in upravljale tveganja, s katerimi se lahko sooči sistem. Pri modeliranju groženj v sistemih agentske UI je pomembno, da poleg aplikacij, infrastrukture in podatkovnih tokov vključite tudi:

Cilje in vedenje posrednika

Prepoznavanje morebitnih neželenih dejanj tako, da določite, kaj naj posrednik naredi, vključno s temi dejanji:

• Katere cilje lahko izvaja.
• Kako načrtuje in izvaja opravila.
• Kakšne ravni hierarhije ima.

Upravljanje identitet

Preveč širok dostop poveča tveganje za ogrožanje ali zlorabo. Pri nastavljanju identitet ovrednotite sledeče:

• Do katerih sistemov in podatkov lahko posrednik dostopa.
• Ali dovoljenja sledijo načelom z najmanj pravicami.
• Kako posrednik preveri pristnost v drugih storitvah.

Orodja in integracije

Agentski sistemi za dokončanje ciljev uporabljajo zunanja orodja, kar lahko razširi tarčo napada. Če želite zaščititi svoje okolje, določite:

• Katere vmesnike API, vtičnike in zbirke podatkov lahko posrednik pokliče.
• Označuje, ali so vnosi in rezultati orodja preverjeni.
• Kako so dejanja pooblaščena in omejena.

Vnosi in viri podatkov

Posredniki nenehno beležijo informacije od ljudi in zunanjih sistemov. Če želite zmanjšati tveganje za vnos, ki ni vreden zaupanja, si oglejte:

• Izpostavljenost vstavljanju pozivov ali zlonamernim vnosom.
• Zastrupitev podatkov ali njihovo spreminjanje.
• Meje zaupanja med internimi in zunanjimi podatki.

Pomnilnik in stanje

Številni posredniki prihranijo kontekst v danem časovnem obdobju, kar lahko poveča vpliv napada. Če želite zmanjšati to tveganje, upoštevajte:

• Kateri podatki so shranjeni v pomnilniku.
• Ali so občutljive informacije hranjene ali razkrite.
• Kako lahko spremenite ali poškodujete pomnilnik.

Dokončanje opravila in dejanja

Če želite preprečiti, da bi tehnično tveganje postalo operativno, ocenite sledeče:

• Dejanja, ki jih posrednik lahko izvede brez odobritve osebe.
• S katerimi varovali boste omejili postopke z visokim tveganjem.
• Kateri scenariji lahko privedejo do dejanj, ki se hitro širijo prek sistemov.

Nadzor in odziv

Ker je vedenje dinamično, je vidljivost ključna. Nadzor, ki vam lahko pomaga zaznati ali zajeziti težave v realnem času, vključuje:

• Beleženje odločitev in dejanj.
• Zaznavanje anomalij ali kršitev pravilnika.
• Ustvarjanje možnosti začasne ustavitve, preglasitve ali zaustavitve posrednika.

Z zgodnjim odpravljanjem tveganj v postopku načrtovanja in uvajanja lahko ohranite zaupanje in integriteto delovanja. Ko modelirate grožnje za svoje agentske sisteme UI, boste 'verjetno prepoznali tveganja v kategorijah, ki vključujejo:

Tveganja avtonomije

Ker posredniki sami sprejemajo odločitve, lahko izvedejo dejanja, ki jih ne morete predvideti v celoti. Ena sama napaka lahko sproži verigo avtomatiziranih korakov v povezanih sistemih, kar povzroči neželene spremembe, težave s podatki ali motnje delovanja. Avtonomija prav tako naredi vedenje manj predvidljivo. Ko se posredniki prilagajajo novim vnosom in pogojem, je težje preskusiti vsak scenarij ali pa se zanašati na nespremenljiva pravila.

Varnostna tveganja

Povezave z vmesniki API, sistemi identitete in zunanjimi orodji povečajo izpostavljenost. Če lahko napadalci izkoristijo prednosti teh integracij, lahko posredujejo dostop ali poosebljajo zaupanja vredne sisteme, kar lahko povzroči izgubo podatkov ali težave delovanja.

Tveganja varnosti in upravljanja

Zaradi samostojne narave agentske UI je nadzor izjemno pomemben. Brez močnega upravljanja je težko ugotoviti, kaj se je zgodilo, razumeti, zakaj je posrednik sprejel določeno odločitev, ali določiti, kdo je odgovoren.

Tveganja v dobavni verigi in modelu

Agentska UI se pogosto zanaša na modele, knjižnice in orodja neodvisnih izdelovalcev, od katerih vsak doda drugo plast tveganja. Če je ena od teh komponent ogrožena, lahko vpliva na celoten sistem. Napadalec lahko na primer uporabi zlonamerno posodobitev vmesnika API neodvisnega proizvajalca za spreminjanje vedenja posrednika.

Etični vidiki

Brez ustreznega nadzora lahko posredniki ustvarijo pristranske rezultate ali obdelajo podatke na načine, ki so v sporu z zasebnostjo ali pravnimi pričakovanji. Z jasnimi standardi lahko organizacije uveljavijo poštenost, preglednost in skladnost s predpisi.

Sisteme UI lahko izboljšate tako, da so varni, zanesljivi in usklajeni s poslovnimi cilji, tako da se osredotočite na nekaj osnovnih področij. Ti stebri vam omogočajo, da ohranite nadzor nad vedenjem, dostopom in interakcijami z drugimi sistemi, tako da lahko vaši posredniki sprejemajo odločitve in izvajajo opravila z minimalnim tveganjem.

Upravljanje identitet in dostopa

Če želite ohraniti odgovornost in sledljivost, obravnavajte svoje sisteme za agentsko UI kot prvorazredne identitete in jih vključite v obstoječa ogrodja za upravljanje identitet. Vsakemu posredniku dodelite enolične poverilnice, uveljavite dostop z najmanj pravicami in uporabite zapletene mehanizme preverjanja pristnosti.

Zaščitni mehanizmi in uveljavljanje pravilnikov

S kontrolniki, ki temeljijo na pravilnikih, lahko nastavite jasne meje za vedenje posrednika. Zaščitni mehanizmi naj omejijo, do katerih orodij lahko dostopajo posredniki, katera dejanja lahko izvedejo in pod katerimi pogoji. Z uveljavljanjem sprotne uporabe pravilnika boste preprečili nepooblaščena ali nevarna dejanja.

Spremljanje in nadzorovanje

S spremljanjem dobite vpogled v vedenje in odločitve posrednika, dostop do podatkov in uporabo orodij. Organizacijam omogoča zaznavanje odstopanj, preiskovanje tveganj in uveljavljanje upravljanja, tako da posredniki delujejo varno, pregledno in v skladu s pravilnikom. Neprekinjen nadzor je ključen za zaznavanje odstopanj v delovanju posrednika. Uvedi analitiko, ki sledi dejanjem in odločitvam posrednika ter uporabi orodij.

Varovanje podatkov

Posredniki med izvajanjem opravil pogosto obravnavajo občutljive podatke. Če želite zmanjšati tveganje uhajanja podatkov, uporabite šifriranje za podatke med prenosom in v mirovanju, uveljavite stroge prakse za najmanjši obseg podatkov in nadzorujte nepooblaščen dostop do podatkov.

Varnost modela in dobavne verige

Varnost vaše oskrbovalne verige programske opreme ima pomembno vlogo pri varnosti agentske UI. Pomembno je preveriti, ali so modeli, vmesniki API in orodja tretjih oseb vredni zaupanja in delujejo v skladu s pričakovanji. Za vse zunanje komponente preverite pristnost s praksami, kot so podpisovanje kode, preverjanje veljavnosti paketa in zaupanja vredni viri distribucije.

Upravljanje in človeški nadzor

Če želite svojo agentsko UI uskladiti z načeli odgovorne UI in zahtevami za skladnost s predpisi, določite, katera dejanja so dovoljena, kdo je odgovoren in kako boste uveljavljali odločitve.

Zaščita agentske UI zahteva proaktiven, večplasten pristop, ki obravnava tako tehnične izzive kot tudi izzive upravljanja. Z nekaj najboljšimi praksami lahko ustvarite in povečate sisteme, ki izpolnjujejo poslovne cilje, hkrati pa so tveganja obvladana.

Začnite z ozkimi, dobro opredeljenimi opravili

Začnite tako, da uvedete agentsko UI v nadzorovanih okoljih z omejeno funkcionalnostjo. Če dodelite posrednikom jasno določena opravila z nizkim tveganjem, boste zmanjšali vpliv, če gre kaj narobe.

Za dejanja posrednika uporabljajte zaščiteno okolje peskovnika

Če želite zmanjšati tveganje za produkcijska okolja in občutljive podatke, izolirajte postopke posrednika v peskovniku ali virtualiziranih okoljih. Uporabite kontrolnike za razvrščanje podatkov, kot so oznake občutljivosti, da zagotovite, da posredniki razpolagajo le z odobrenimi podatki na podlagi razvrstitve in občutljivosti.

Uvedite večplastne zaščitne mehanizme

Dinamične sisteme je včasih težko spremljati in nadzorovati, vendar lahko vedenje posrednika omejite tako, da določite, do katerih orodij lahko dostopa, katera dejanja lahko izvede in v katerih pogojih. Posrednikom dodelite točno določene identitete in uveljavite nadzor dostopa na podlagi vlog, da upravljate, do katerih podatkov in sistemov lahko dostopajo. Za največji nadzor združite statične pravilnike z dinamičnimi preverjanji izvajalnika.

Sproti preverjajte, ali so prisotni vnosi pozivov in džejlbrejki

Ker lahko agentska UI deluje samostojno in skupaj izvaja več dejanj, obstaja tveganje, da bodo napadalci z enim od svojih vnosov spreminjali vedenje UI na nevarne ali neželene načine. Redno izvajajte vaje delovanja ekipe AI Red Team in zaznavanje sovražnih napadov, da odkrijete ranljivosti, preden jih odkrijejo napadalci.

Vzpostavite poti posredovanj in upravljanj potekov dela

Ustvarite jasne postopke posredovanj za dejanja z visokim tveganjem. Za občutljive postopke, kot so finančne transakcije ali spremembe konfiguracije sistema, uvedite kontrolne točke s prisotnim človeškim nadzorom.

Uskladite z načeli odgovorne UI

Sestavite posrednike, ki delujejo v skladu z etičnimi standardi, smernicami glede pravičnosti in regulativnimi zahtevami, tako da vključite preskušanje pristranskosti, preglede možnih razlag in preverjanje skladnosti s predpisi. UI in zakoni o zasebnosti podatkov se razvijajo, zato je dobro, da redno ponovno ocenite, kako dobro se vaši sistemi prilagajajo novostim.

Nima vsak primer uporabe agentske UI enakega tveganja. Če razumete razliko med scenariji z nizko in z visoko stopnjo tveganja, lahko določite, kje začeti in katere kontrolnike je treba uvesti. Dva pogosta varnostna primera uporabe agentske UI pomagata ponazoriti razlike:

Razvrščanje podpore uporabnikom (nizko tveganje)

V tem primeru sistem agentske UI pomaga skupini za podporo uporabnikom tako, da razvrsti dohodne zahtevke, predlaga odgovore in usmerja težave v pravi oddelek.

• Zakaj je to nizko tveganje:
  • Posrednik deluje v nadzorovanem okolju.
  • Dejanja so omejena na razvrstitev zahtevkov in na predloge za odgovor.
  • Ni neposrednega dostopa do občutljivih finančnih ali operacijskih sistemov.
• Varnostni vidiki:
  • Uporabite varovalne mehanizme, da posredniku preprečite posredovanje zahtevkov brez odobritve.
  • Spremljajte, ali so na voljo vnosi pozivov, ki bi lahko spreminjali usmerjanje zahtevkov.

Avtomatizacija finančnih transakcij (visoko tveganje)

Tukaj je sistem agentske UI pooblaščen za začetek in odobritev finančnih transakcij na podlagi vnaprej določenih pravil poslovanja.

• Zakaj je to visoko tveganje:
  • Posrednik ima neposreden dostop do finančnih sistemov in občutljivih podatkov.
  • Obstaja možnost velikih prevar ali motenj delovanja, če je sistem ogrožen.
• Varnostni vidiki:
  • Uveljavite dosledno upravljanje identitet in dostopa za posrednika.
  • Uvedite odobritev s strani ljudi za transakcije z visoko vrednostjo.
  • Sproti spremljajte nenavadne vzorce transakcij.

Preden uvedete ali povečate sisteme z agentsko UI, si vzemite nekaj časa in znova preverite pripravljenost organizacije na nekaj ključnih področjih:

• Zrelost upravljanja. Ali so poti posredovanj in poteki dela odobritve pripravljeni?
• Kontrolniki identitete. Ali so posredniki obravnavani kot enolične identitete z dostopom z najmanj pravicami?
• Zmogljivosti nadzorovanja. Ali lahko organizacija v realnem času zazna nenavadno vedenje posrednika in se odzove nanj?
• Toleranca do tveganja. Ali podjetje razume in sprejme morebitni vpliv posrednika v izbranem primeru uporabe?

Če začnete s scenariji z nizko stopnjo tveganja in postopoma uvedete agentsko UI v bolj zapletene poteke dela, lahko vaša organizacija ustvari zaupanje, hkrati pa ohrani varnost in skladnost s predpisi.

Zaščita agentske UI je osrednji del sprejemanja samostojnih sistemov na odgovoren način. Ko ti sistemi prevzamejo več odločitev in vzpostavljajo povezavo v različnih okoljih, uvajajo tveganja, s katerimi običajni varnostni pristopi niso bili zasnovani za upravljanje. Upravljanje identitete, jasno uveljavljanje pravilnika in neprekinjeno nadzorovanje pomagajo ohranjati sisteme usklajene z zahtevami glede poslovnega namena in skladnosti s predpisi. S proaktivnim pristopom boste pomagali ohraniti zaupanje, zmanjšati izpostavljenost grožnjam, ki se pojavljajo, in ohraniti samostojno vedenje znotraj določenih meja.

Varnejšo uvedbo UI v organizaciji lahko podprete s paketom enotnih varnostnih rešitev za agentsko UI podjetja Microsoft. Microsoftova varnost združuje upravljanje identitete in dostopa, zaznavanje groženj, zaščito podatkov in upravljanje, ki vam pomagajo ohraniti nadzor nad avtonomnimi sistemi. Z vgrajeno UI za kibernetsko varnost lahko pospešite preiskave in pomagate skupinam pri učinkovitejšem delu. Skupaj te rešitve zagotavljajo praktično osnovo za upravljanje tveganj, zaščito sistemov UI in podporo za odgovorno uporabo agentske UI.