Co to jest bezpieczeństwo agentycznej sztucznej inteligencji?

Tradycyjne systemy sztucznej inteligencji są zaprojektowane tak, aby wykonywać konkretne, z góry określone zadania w oparciu o dane wejściowe lub dane historyczne. Działania w zakresie zabezpieczeń zazwyczaj koncentrują się na ochronie modeli, zabezpieczaniu danych szkoleniowych oraz weryfikacji wyników podczas działania. Te środki pomagają organizacjom zachować rzetelność i wiarygodność w określonym zakresie.

Autonomia i zdolności decyzyjne sztucznej inteligencji typu agentowego wiążą się z wyzwaniami, do których tradycyjne podejścia nie zostały przystosowane. Najważniejsze różnice obejmują:

• Zachowanie systemu: tradycyjne systemy sztucznej inteligencji reagują na polecenia lub dane wejściowe, podczas gdy systemy sztucznej inteligencji oparte na agentach aktywnie planują i realizują zadania. Ponieważ agenci mogą podejmować działania niezależnie, ich decyzje mogą mieć bezpośredni wpływ operacyjny.
• Podejmowanie decyzji: tradycyjna sztuczna inteligencja zazwyczaj opiera się na z góry określonej logice lub wynikach modelu. Agentyczna sztuczna inteligencja dostosowuje swoje decyzje w oparciu o kontekst i wyniki pośrednie, co sprawia, że jej zachowanie staje się mniej przewidywalne i zwiększa potrzebę ciągłego monitorowania oraz stosowania zabezpieczeń.
• Zakres działań: tradycyjna sztuczna inteligencja często działa w ramach jednej aplikacji lub jednego przepływu pracy. Agentyczna sztuczna inteligencja może obejmować wiele systemów, narzędzi i źródeł danych, co zwiększa potencjalne skutki błędów lub naruszeń bezpieczeństwa.
• Użycie narzędzi: tradycyjna sztuczna inteligencja zwykle opiera się na wstępnie zdefiniowanych integracjach. Agentyczna sztuczna inteligencja może dynamicznie wywoływać interfejsy API, narzędzia i usługi, tworząc tym samym dodatkowe punkty dostępu, które mogą zostać wykorzystane do nadużyć lub ataków.
• Tożsamość i dostęp: tradycyjna sztuczna inteligencja może działać w ramach tożsamości usługi udostępnionej lub niejawnej. Agentyczne systemy sztucznej inteligencji zazwyczaj wymagają odrębnych tożsamości i jasno określonych uprawnień, co sprawia, że zarządzanie tożsamością i zasada minimalnych uprawnień mają kluczowe znaczenie.
• Obszar ataków: tradycyjne zabezpieczenia sztucznej inteligencji koncentrują się głównie na ochronie danych wejściowych modelu i danych szkoleniowych. Agentyczna sztuczna inteligencja zwiększa obszar ataku, obejmując nim narzędzia, procesy robocze, pamięć i połączone systemy, co podnosi ryzyko nadużyć i naruszenia bezpieczeństwa.

Organizacje stosujące ustrukturyzowany proces mają większe szanse na rozpoznanie, zrozumienie i zarządzanie ryzykiem, na jakie narażony może być dany system. Podczas modelowania zagrożeń w agentycznych systemach sztucznej inteligencji należy wyjść poza ramy aplikacji, infrastruktury i przepływów danych, uwzględniając:

Cele i zachowania agenta

Zidentyfikować potencjalne niezamierzone działania poprzez określenie, do czego służy dany agent, w tym:

• Jakie cele może osiągnąć.
• Jak planuje i wykonuje zadania.
• Jaki jest poziom jego autonomii.

Tożsamość i dostęp

Zbyt szeroki dostęp zwiększa ryzyko naruszenia lub niewłaściwego użycia. Podczas konfigurowania tożsamości oceń:

• Do jakich systemów i danych ma dostęp agent.
• Czy uprawnienia są zgodne z zasadą minimalnych uprawnień.
• Sposób uwierzytelniania agenta w innych usługach.

Narzędzia i integracje

Systemy agentyczne wykorzystują narzędzia zewnętrzne do realizacji celów, co może zwiększyć obszar ataku. Aby chronić środowisko, zdefiniuj następujące elementy:

• Jakie interfejsy API, wtyczki i bazy danych może wywoływać agent.
• Określa, czy dane wejściowe i wyjściowe narzędzia są weryfikowane.
• W jaki sposób działania są autoryzowane i ograniczane.

Dane wejściowe i źródła danych

Agenci nieustannie pozyskują informacje od ludzi i z systemów zewnętrznych. Aby zmniejszyć ryzyko wystąpienia niezaufanych danych wejściowych, zobacz:

• Narażenie na wstrzyknięcie monitu lub złośliwe dane wejściowe.
• Zatruwanie lub manipulowanie danymi.
• Ufaj granicom między danymi wewnętrznymi i zewnętrznymi.

Pamięć i stan

Wielu agentów oszczędza kontekst w czasie, co może zwiększyć wpływ ataku. Aby zmniejszyć to ryzyko, rozważ:

• Jakie dane są przechowywane w pamięci.
• Określ, czy informacje poufne są zachowywane, czy ujawniane.
• Jak można zmienić lub uszkodzić pamięć.

Zakończenie zadania i akcje

Aby zapobiec ryzyku technicznemu związanemu z ryzykiem operacyjnym, oceń:

• Jakie akcje może wykonać agent bez zgody człowieka.
• Które zabezpieczenia pomogą ograniczyć operacje o wysokim ryzyku.
• Jakie sytuacje mogą doprowadzić do działań, które wywołają efekt domina w różnych systemach.

Monitorowanie i reagowanie

Z uwagi na dynamiczny charakter zachowań kluczowe znaczenie ma widoczność. Monitorowanie, które może ułatwić wykrywanie lub zawieranie problemów w czasie rzeczywistym, obejmuje:

• Rejestrowanie decyzji i akcji.
• Wykrywanie anomalii lub naruszeń zasad.
• Tworzenie możliwości wstrzymywania, zastępowania lub zamykania agenta.

Wczesne uwzględnienie zagrożeń na etapie projektowania i wdrażania może pomóc w utrzymaniu zaufania i integralności operacyjnej. Podczas modelowania zagrożeń w agentycznych systemach sztucznej inteligencji prawdopodobnie zidentyfikujesz'zagrożenia w różnych kategoriach, które obejmują:

Ryzyko związane z autonomią

W związku z tym, że agenci podejmują decyzje samodzielnie, mogą podjąć działania, których nie jesteś w stanie w pełni przewidzieć. Jeden błąd może wywołać łańcuch automatycznych działań w połączonych systemach, co może skutkować niezamierzonymi zmianami, problemami z danymi lub zakłóceniami operacyjnymi. Autonomia sprawia również, że zachowanie jest mniej przewidywalne. W miarę jak agenci dostosowują się do nowych danych i warunków, coraz trudniej jest przetestować każdy scenariusz lub polegać na sztywnych zasadach.

Czynniki ryzyka związane z bezpieczeństwem

Połączenia z interfejsami API, systemami uwierzytelniania i narzędziami zewnętrznymi zwiększają ryzyko ekspozycji. Jeśli atakujący zdołają wykorzystać te integracje, mogą uzyskać szerszy dostęp lub podszyć się pod zaufane systemy, co może skutkować utratą danych lub problemami operacyjnymi.

Ryzyko związane z bezpieczeństwem i ładem

Ze względu na autonomiczny charakter agentycznej sztucznej inteligencji nadzór nad nią ma ogromne znaczenie. Bez solidnego systemu zarządzania trudno jest ustalić, co się wydarzyło, zrozumieć, dlaczego agent podjął daną decyzję, lub określić, kto ponosi za to odpowiedzialność.

Ryzyko związane z łańcuchem dostaw i ryzyko modelowe

Agentyczna sztuczna inteligencja często opiera się na modelach, bibliotekach i narzędziach innych firm, z których każda dodaje kolejną warstwę ryzyka. Jeśli jeden z tych składników zostanie naruszony, może to mieć wpływ na cały system. Na przykład osoba atakująca może użyć złośliwej aktualizacji interfejsu API innej firmy do manipulowania zachowaniem agenta.

Etyczne rozważania

Bez odpowiednich mechanizmów kontroli agenci mogą generować tendencyjne wyniki lub przetwarzać dane w sposób niezgodny z zasadami ochrony prywatności lub wymogami prawnymi. Jasno określone standardy pomagają organizacjom zapewnić sprawiedliwość, przejrzystość i zgodność z przepisami.

Skupiając się na kilku kluczowych obszarach, możesz przyczynić się do tego, by Twoje systemy sztucznej inteligencji były bezpieczne, niezawodne i dostosowane do celów biznesowych. Te filary pozwalają zachować kontrolę nad działaniem, dostępem i interakcjami z innymi systemami, dzięki czemu Twoi agenci mogą podejmować decyzje i wykonywać zadania przy minimalnym ryzyku.

Zarządzanie tożsamościami i dostępem

Aby zapewnić rozliczalność i identyfikowalność, traktuj swoje systemy agentycznej sztucznej inteligencji jako pełnoprawne podmioty i włącz je do istniejących struktur zarządzania tożsamością. Przypisz unikatowe poświadczenia do każdego agenta, wymuszaj dostęp z najniższymi uprawnieniami i stosuj silne mechanizmy uwierzytelniania.

Zabezpieczenia i wymuszanie zasad

Możesz jasno określić granice działania agentów za pomocą mechanizmów kontroli opartych na zasadach.opartych na zasadach. Mechanizmy zabezpieczające powinny określać, do jakich narzędzi mają dostęp agenci, jakie działania mogą podejmować oraz na jakich warunkach. Egzekwowanie zasad w czasie rzeczywistym pomoże Ci zapobiegać nieautoryzowanym lub niebezpiecznym działaniom.

Obserwowalność i monitorowanie

Funkcja obserwowalności zapewnia wgląd w zachowanie agentów, podejmowane przez nich decyzje, dostęp do danych oraz sposób korzystania z narzędzi. Umożliwia organizacjom wykrywanie anomalii, badanie zagrożeń i wymuszanie ładu, dzięki czemu agenci działają bezpiecznie, w sposób niewidoczny i zgodny z zasadami. Ciągłe monitorowanie jest kluczem do wykrywania anomalii w zachowaniu agenta. Wprowadź system analityczny, który śledzi działania agentów, podejmowane przez nich decyzje oraz sposób korzystania z narzędzi.

Ochrona danych

Agenci często obsługują poufne dane podczas wykonywania zadań. Aby zmniejszyć ryzyko wycieku danych, należy stosować szyfrowanie zarówno danych przesyłanych, jak i przechowywanych, rygorystycznie przestrzegać zasad minimalizacji danych oraz monitorować dostęp do danych pod kątem nieuprawnionych prób uzyskania do nich dostępu.

Zabezpieczenia modelu i łańcucha dostaw

Bezpieczeństwo łańcucha dostaw oprogramowania odgrywa dużą rolę w bezpieczeństwie agentycznej sztucznej inteligencji. Ważne jest, aby sprawdzić, czy modele, interfejsy API i narzędzia innych firm są wiarygodne i działają zgodnie z oczekiwaniami. W przypadku wszystkich składników zewnętrznych zweryfikuj pochodzenie, korzystając z praktyk, takich jak podpisywanie kodu, walidacja pakietu i zaufane źródła dystrybucji.

Ład korporacyjny i nadzór sprawowany przez ludzi

Na koniec, aby dostosować swoją agentyczną sztuczną inteligencję do zasad odpowiedzialnej sztucznej inteligencji oraz wymogów zgodności z przepisami, należy określić, jakie działania są dozwolone, kto ponosi za nie odpowiedzialność oraz w jaki sposób będą egzekwowane podjęte decyzje.

Zapewnienie bezpieczeństwa agentycznej sztucznej inteligencji wymaga proaktywnego, wielopoziomowego podejścia, które uwzględnia zarówno wyzwania techniczne, jak i związane z ładem. Kilka najlepszych rozwiązań może pomóc w tworzeniu i skalowaniu systemów spełniających cele biznesowe przy jednoczesnym zarządzaniu ryzykiem.

Zacznij od wąskich, jasno określonych zadań

Rozpocznij od wdrożenia agentycznej sztucznej inteligencji w kontrolowanych środowiskach z ograniczoną funkcjonalnością. Powierzanie agentom zadań o niskim ryzyku i jasno określonych celach pomoże zminimalizować skutki ewentualnych niepowodzeń.

Używanie środowisk w trybie piaskownicy na potrzeby akcji agenta

Aby zmniejszyć ryzyko dla środowisk produkcyjnych i danych poufnych, wyizoluj operacje agenta w środowiskach w trybie piaskownicy lub wirtualnych. Zastosuj mechanizmy kontroli danych, takie jak etykiety poufności, aby zapewnić, że pracownicy mają dostęp wyłącznie do danych zatwierdzonych na podstawie ich klasyfikacji i poziomu poufności.

Zastosuj wielopoziomowe zabezpieczenia

Monitorowanie i sterowanie systemami dynamicznymi może być trudne, ale można ograniczyć zachowanie agentów, określając, do jakich narzędzi mają dostęp, jakie czynności mogą wykonywać i na jakich warunkach. Przypisz odrębne tożsamości do agentów i wymuszaj kontrolę dostępu opartą na rolach, aby zarządzać danymi i systemami, do których mogą uzyskiwać dostęp. Aby uzyskać maksymalną kontrolę, połącz zasady statyczne z dynamicznymi testami środowiska uruchomieniowego.

Prowadź ciągłe testy pod kątem wstrzykiwania monitu i przełamywania zabezpieczeń

W związku z tym, że agentyczna sztuczna inteligencja potrafi działać autonomicznie i łączyć ze sobą wiele działań, istnieje ryzyko, że osoby atakujące będą manipulować jednym z jej danych wejściowych, aby skłonić ją do zachowań niebezpiecznych lub niezamierzonych. Należy regularnie przeprowadzać ćwiczenia typu red teaming oraz testy symulujące ataki, aby wykrywać słabe punkty, zanim zrobią to atakujący.

Stwórz ścieżki eskalacji i procedury zarządzania

Opracuj jasne procedury eskalacji dla działań wysokiego ryzyka. W przypadku operacji wymagających szczególnej ostrożności, takich jak transakcje finansowe lub zmiany konfiguracji systemu, wprowadź punkty kontrolne z udziałem człowieka.

Działaj zgodnie z zasadami odpowiedzialnej sztucznej inteligencji

Stwórz agentów, którzy przestrzegają standardów etycznych, wytycznych dotyczących uczciwości oraz wymogów regulacyjnych poprzez wdrożenie testów na obecność stronniczości, przeglądów wyjaśnialności oraz weryfikacji zgodności. Przepisy dotyczące sztucznej inteligencji i ochrony danych ulegają ciągłym zmianom, dlatego warto regularnie sprawdzać, czy Twoje systemy nadążają za tymi zmianami.

Nie każdy przypadek zastosowania agentycznej sztucznej inteligencji wiąże się z takim samym ryzykiem. Zrozumienie różnicy między scenariuszami niskiego ryzyka a scenariuszami wysokiego ryzyka może pomóc w ustaleniu priorytetów dotyczących tego, od czego zacząć i jakie środki kontroli wdrożyć. Dwa typowe przykłady zastosowań sztucznej inteligencji w dziedzinie bezpieczeństwa pomagają zilustrować te różnice:

Klasyfikacja obsługi klienta (niskie ryzyko)

W tym scenariuszu agentyczna sztuczna inteligencja wspiera zespół obsługi klienta, klasyfikując zgłoszenia, sugerując odpowiednie odpowiedzi oraz kierując sprawy do właściwego działu.

• Dlaczego jest to niski poziom ryzyka:
  • Agent działa w kontrolowanym środowisku.
  • Akcje są ograniczone do klasyfikacji biletów i sugestii odpowiedzi.
  • Nie ma bezpośredniego dostępu do poufnych systemów finansowych ani operacyjnych.
• Zagadnienia dotyczące zabezpieczeń:
  • Zastosuj zabezpieczenia, aby uniemożliwić agentowi eskalowanie biletów bez zatwierdzenia.
  • Monitoruj próby wstrzyknięcia monitu, które mogą manipulować routingiem biletów.

Automatyzacja transakcji finansowych (wysokie ryzyko)

W tym przypadku agentyczna sztuczna inteligencja jest uprawniona do inicjowania i zatwierdzania transakcji finansowych w oparciu o z góry określone reguły biznesowe.

• Dlaczego jest to wysokie ryzyko:
  • Agent ma bezpośredni dostęp do systemów finansowych i danych poufnych.
  • W przypadku naruszenia zabezpieczeń mogą wystąpić oszustwa na dużą skalę lub zakłócenia operacyjne.
• Zagadnienia dotyczące zabezpieczeń:
  • Wprowadź ścisłe zasady zarządzania tożsamością i dostępem dla agenta.
  • Wprowadź procedurę zatwierdzania z udziałem pracownika dla transakcji o wysokiej wartości.
  • Stale monitoruj pod kątem nietypowych wzorców transakcji.

Przed wdrożeniem lub skalowaniem agentycznej sztucznej inteligencji warto poświęcić chwilę na dokładne sprawdzenie, czy Twoja organizacja jest gotowa w kilku kluczowych obszarach:

• Dojrzałość ładu. Czy istnieją ścieżki eskalacji i przepływy pracy zatwierdzania?
• Mechanizmy kontroli tożsamości. Czy agenci są traktowane jako unikatowe tożsamości z dostępem z najniższymi uprawnieniami?
• Możliwości monitorowania. Czy organizacja może wykrywać nietypowe zachowanie agenta i reagować na nie w czasie rzeczywistym?
• Tolerancja ryzyka. Czy firma rozumie i akceptuje potencjalny wpływ autonomii agenta w wybranym przypadku użycia?

Zaczynając od scenariuszy o niskim ryzyku i stopniowo wdrażając sztuczną inteligencję z zdolnością do samodzielnego działania do bardziej złożonych procesów, Twoja organizacja może budować zaufanie, jednocześnie dbając o bezpieczeństwo i zgodność z przepisami.

Zabezpieczanie agentycznej sztucznej inteligencji jest podstawową częścią wdrażania systemów autonomicznych w odpowiedzialny sposób. W miarę jak systemy te przejmują coraz więcej zadań związanych z podejmowaniem decyzji i łączą się między różnymi środowiskami, stwarzają one zagrożenia, do których tradycyjne rozwiązania w zakresie bezpieczeństwa nie zostały przystosowane. Zarządzanie tożsamością, konsekwentne egzekwowanie jasnych zasad oraz ciągłe monitorowanie odgrywają kluczową rolę w zapewnieniu zgodności systemów z celami biznesowymi i wymogami zgodności. Dzięki proaktywnemu podejściu pomożesz utrzymać zaufanie, ograniczyć narażenie na pojawiające się zagrożenia oraz utrzymać autonomiczne działania w określonych granicach.

Możesz obsługiwać bezpieczniejsze wdrażanie sztucznej inteligencji w Twojej organizacji za pomocą zestawu ujednoliconych rozwiązań zabezpieczeń sztucznej inteligencji agenta firmy Microsoft. Rozwiązania zabezpieczające firmy Microsoft łączą funkcje zarządzania tożsamościami i dostępem, wykrywania zagrożeń, ochrony danych i ładu, które ułatwiają zachowanie kontroli nad systemami autonomicznych. Dzięki wbudowanej sztucznej inteligencji na potrzeby cyberbezpieczeństwa możesz przyspieszyć badania i ułatwić zespołom wydajniejszą współpracę. Wszystkie te rozwiązania stanowią praktyczną podstawę do zarządzania ryzykiem, ochrony systemów sztucznej inteligencji oraz wspierania odpowiedzialnego korzystania z agentycznej sztucznej inteligencji.