Firmy a pojišťovny řeší nové riziko: škody způsobené autonomními AI agenty

Bezpečnostní ředitelé firem (CISOs) společně s pojišťovnami intenzivně řeší nový typ hrozby, který se v posledních měsících stále častěji objevuje na jejich agendě: škody způsobené takzvanými rogue AI agenty. Jde o autonomní softwarové systémy poháněné umělou inteligencí, které v rámci firemních procesů jednají samostatně a bez přímého lidského dohledu – a v některých případech se odchýlí od zamýšleného chování natolik, že způsobí reálné finanční nebo provozní škody.

Na rozdíl od klasických kybernetických incidentů, kde je viníkem útočník zvenčí, zde jde o situace, kdy škodu nezpůsobí škodlivý úmysl, ale chybné rozhodnutí nebo neočekávané chování samotného AI systému nasazeného firmou. Agent může například autonomně provést chybnou finanční transakci, smazat nebo upravit kritická data, odeslat citlivé informace nepovolané straně, nebo v rámci automatizovaného rozhodování způsobit škodu třetí straně. Právě proto, že jednání není řízeno člověkem v reálném čase, je obtížné určit, kde přesně selhání nastalo a kdo za něj nese odpovědnost.

CISOs se nyní spolu s pojišťovacími firmami snaží najít odpověď na otázku, jak takové incidenty vůbec zvládat – od jejich včasné detekce přes omezení škod až po jasné vymezení odpovědnosti a možnosti finanční kompenzace. Tradiční kybernetické pojistky totiž byly navrženy s ohledem na útoky typu ransomware, úniky dat nebo phishing, nikoli na situace, kdy škodu způsobí vlastní autonomní systém firmy jednající v dobré víře, ale chybně.

Pojišťovny přiznávají, že se s tímto typem rizika teprve učí pracovat. Chybí jim historická data, na jejichž základě by dokázaly modelovat pravděpodobnost a rozsah škod způsobených AI agenty. Zároveň je komplikované posoudit, zda šlo o selhání technologie, chybu při jejím nastavení, nedostatečný dohled ze strany firmy, nebo kombinaci všech těchto faktorů. To ztěžuje jak stanovení pojistného, tak i samotné vyřizování škodních událostí, pokud k nim dojde.

Pro CISOs představuje tato situace dvojí problém. Musí především zajistit, aby AI agenti nasazení v jejich organizacích měli jasně definované hranice pravomocí a byli pod odpovídajícím dohledem – tedy aby k podobným incidentům vůbec nedocházelo, nebo aby jejich dopad byl minimální. Zároveň ale potřebují mít jistotu, že pokud k selhání dojde, firma bude mít k dispozici funkční plán reakce a případně i pojistné krytí, které pokryje vzniklé škody.

Debata mezi bezpečnostními experty a pojistiteli se proto soustředí na několik klíčových témat – jak nastavit odpovědnost mezi dodavatelem technologie, integrátorem a provozovatelem, jaké technické kontrolní mechanismy by měly být standardem před nasazením autonomních agentů do produkčního prostředí, a jakým způsobem dokumentovat rozhodovací procesy AI systémů tak, aby bylo možné zpětně rekonstruovat, co a proč se stalo.

Zástupci pojišťovacího sektoru upozorňují, že bez důkladné dokumentace a auditovatelnosti jednání AI agentů bude vyřizování škodních událostí velmi obtížné, ne-li nemožné. Firmy, které chtějí mít v budoucnu možnost pojistit se proti takovým rizikům, budou pravděpodobně muset prokázat, že mají zavedeny odpovídající kontrolní mechanismy, logování činnosti agentů a jasně definované eskalační postupy pro případ, že agent jedná mimo očekávané parametry.

Zástupci bezpečnostní komunity zároveň zdůrazňují, že prevence je v tomto ohledu klíčovější než reakce na incident. Doporučují proto postupné zavádění autonomních AI systémů s omezenými pravomocemi, pravidelné testování jejich chování v kontrolovaném prostředí a průběžné vyhodnocování rizik spojených s rozšiřováním jejich rozhodovacích pravomocí.

Otázka, jak přesně nastavit odpovědnost a pojistné krytí pro škody způsobené rogue AI agenty, zatím nemá jednoznačnou odpověď. Jak CISOs, tak pojišťovny se shodují, že jde o oblast, která se bude v následujícím období rychle vyvíjet, a že současná praxe představuje spíše první pokusy o systematické řešení problému než hotový a ustálený rámec.