Zúčastněte se panelové diskuze na konferenci RSAC, která se koná 24. března a bude se zabývat tématem „AI agenti jsou tady! Jste připravení?“.

Příručka Microsoftu pro zabezpečení podniku využívajícího umělou inteligenci

Stáhnout příručku

Sdílet

Začínáme s AI aplikacemi

Umělá inteligence (AI) mění způsob fungování firem a přináší nové možnosti inovací, ale také nová rizika. Ať už jde o stínovou AI (spotřebitelské nástroje používané bez dohledu), útoky typu injektáž výzev, či nové předpisy jako Akt EU o AI, organizace musí takové výzvy aktivně řešit, aby mohly AI bezpečně využívat.

Tato příručka pojednává o rizicích spojených s umělou inteligencí: únik dat, nově vznikající hrozby a výzvy s dodržováním předpisů v souvislosti s jedinečnými riziky agentní AI. Zároveň poskytuje doprovodné materiály a praktické kroky vycházející z rámce pro zavádění AI. Pokud chcete získat hlubší přehledy a praktické postupy, stáhněte si příručku.

AI je revoluční nástroj, ale pouze pokud ji dokážete zabezpečit. Pusťme se do toho.

80 % lídrů označuje únik dat za hlavní hrozbu. ¹Nástroje stínové AI používané bez schválení IT mohou odhalovat citlivé informace a zvyšovat riziko porušení zásad.
88 % organizací se obává, že aktéři se zlými úmysly mohou manipulovat s AI systémy.²Útoky, jako je injektáž výzev, zneužívají ohrožení zabezpečení v systémech AI a zdůrazňují potřebu proaktivní obrany.
52 % vedoucích pracovníků přiznává nejistotu při orientaci v regulacích týkajících se AI.³Dodržování předpisů, jako je Akt EU o AI, je klíčové pro budování důvěry a udržení tempa inovací.

Agentní AI: Klíčová rizika a jak na ně reagovat

Agentní AI nabízí transformační potenciál, ale její autonomie přináší jedinečné výzvy v zabezpečení, které vyžadují proaktivní řízení rizik. Níže jsou klíčová rizika a strategie zaměřené na jejich řešení:

Halucinace a neúmyslné výstupy

Systémy agentní AI mohou generovat nepřesné, zastaralé nebo nesouladné výstupy, které vedou k narušením provozu nebo špatnému rozhodování.

V rámci boje s těmito riziky by měly organizace zavést přísné procesy monitorování, aby revidovaly výstupy generované pomocí AI a zajistily tak správnost a relevanci. Pravidelná aktualizaci tréninkových dat zajišťuje soulad s aktuálními informacemi a eskalační cesty pro složité případy umožňují lidský zásah, když je to potřeba. Lidský dozor je nadále klíčový, aby byly operace řízené umělou inteligencí spolehlivé.

Přílišné spoléhání na rozhodnutí AI

Slepá důvěra v systémy agentní AI může vést k ohrožení zabezpečení v případě, že budou uživatelé bez ověření následovat výstupy.

Organizace by měly u důležitých rozhodnutí ovlivněných AI zavést zásady vyžadující kontrolu člověkem. Školení zaměstnanců o omezeních AI podporuje informovanou skepsi, čímž se snižuje pravděpodobnost chyb. Kombinace přehledů AI s lidským úsudkem prostřednictvím vícestupňových rozhodovacích procesů posiluje celkovou odolnost a předchází přílišné závislosti na AI.

Vektory nových útoků

Autonomie a adaptabilita agentní AI vytváří příležitosti pro útočníky ke zneužití ohrožení zabezpečení, což zavádí provozní i systémová rizika.

Provozní rizika zahrnují manipulaci systémů AI, aby prováděly škodlivé akce, jako jsou neautorizované úkoly nebo pokusy phishing. Organizace proti těmto rizikům mohou bojovat pomocí implementace robustních bezpečnostních opatření, včetně detekce anomálií v reálném čase, šifrování a přísného řízení přístupu.

Systémová rizika vyvstávají, když napadení agenti narušují propojené systémy, což může vést k řetězovým selháním. Záložní mechanismy, protokoly redundance a pravidelné audity — v souladu s rámcem kybernetické bezpečnosti, jako je NIST— pomáhají tyto hrozby minimalizovat a posilují obranu proti cíleným útokům.

Zodpovědnost a závazek

Agentní AI často funguje bez přímého lidského dohledu, což vyvolává složité otázky ohledně zodpovědnosti za chyby a selhání.

Organizace by měly definovat jasný rámec odpovědnosti, které stanoví role a povinnosti za výsledky související s AI. Transparentní dokumentace procesů rozhodování na základě AI podporuje identifikaci chyb a určení odpovědnosti. Spolupráce s právními týmy zajišťuje dodržování regulací a přijetí etických standardů pro zásady správného řízení AI buduje důvěru a snižuje reputační rizika.

Začněte s fázovaným přístupem

S inovacemi AI, jako jsou agenti, musí organizace vybudovat silné základy na principech Nulové důvěry (Zero Trust) – „nikdy nedůvěřujte, vždy ověřujte.“ Tento přístup pomáhá zajistit, aby každá interakce byla ověřena, autorizována a průběžně monitorována. Ačkoliv dosažení nulové důvěry (Zero Trust) vyžaduje čas, přijetí fázované strategie umožňuje postupný pokrok a buduje důvěru v bezpečnou integraci AI.

Standardy přijetí AI od Microsoftu se zaměřují na tři klíčové fáze: řízení AI, správa AI a zabezpečení AI.

Reakcí na tyto oblasti mohou organizace položit základy zodpovědného použiti AI, zatímco bojují s hlavními riziky.

Pro úspěch je klíčové dát prioritu lidem, školením zaměstnancům, aby rozpoznali rizika AI a bezpečně používali schválené nástroje. Podporujte spolupráci mezi IT, bezpečnostními a obchodními týmy, aby byla zajištěna jednotná strategie. Podporujte transparentnost otevřenou komunikací o svých iniciativách v oblasti zabezpečení AI, abyste vybudovali důvěru a prokázali vedení.

S dobře nastavenou strategií založenou na principech nulové důvěry (Zero Trust) dokážete zmírnit rizika, podpořit inovace a sebejistě se orientovat v dynamickém světě umělé inteligence.

Stáhnout příručku

Obal knihy s názvem Microsoft Security Strategies for AI Compliance a ilustrací muže a ženy, kteří se dívají na přenosný počítač.

5 minut