Bezpečnost AI modelů naráží na nespolehlivost mechanismů odmítání nebezpečných dotazů

Schopnost umělé inteligence rozpoznat a odmítnout nebezpečné požadavky se stává jedním z klíčových bezpečnostních témat kolem velkých jazykových modelů. Upozorňuje na to analýza publikovaná 9. října autorem Arthurem Hollandem Michelem, která shrnuje, jak firmy jako OpenAI a Anthropic přistupují k otázce takzvaných odmítnutí – tedy momentů, kdy AI systém odmítne vyhovět uživatelskému dotazu.

Základ dnešního přístupu položil tým Anthropic už v roce 2021, kdy formuloval zásadu, že velké jazykové modely by měly být nápomocné, čestné a především neškodné. Z tohoto principu dodnes vychází snaha, aby AI odmítala asistovat při zjevně nebezpečných činnostech – typickým příkladem bývá žádost o návod na stavbu bomby.

Problém je však v samotné podstatě toho, jak jsou tyto modely trénované. Vznikají na základě obrovského množství textů z internetu, v řádu miliard webových stránek, a tento materiál nevyhnutelně obsahuje i informace o násilí, zbraních nebo výrobě nebezpečných látek. Model se tak zároveň s užitečnými znalostmi učí i to, co by za určitých okolností mohlo posloužit ke škodlivým účelům.

Mechanismy, které mají model naučit podobné požadavky odmítat, jsou podle odborníků citovaných v analýze pouze pravděpodobnostní povahy, a proto nejsou spolehlivé na sto procent. To znamená, že systém se sice ve většině případů zachová podle nastavených pravidel, ale nelze vyloučit situace, kdy dojde k selhání a model přesto poskytne informace, které měl odmítnout.

Toto riziko není jen teoretické. Podle analýzy se uživatelé reálně pokoušejí zneužít AI modely například k získání pomoci při vývoji biologických patogenů nebo při konstrukci autonomních dronů – tedy v oblastech s potenciálně vysokým bezpečnostním dopadem. Firmy vyvíjející tyto technologie proto věnují značné úsilí testování odolnosti svých systémů vůči podobným pokusům.

Steven Adler z OpenAI a Zico Kolter, rovněž spojený s OpenAI, patří mezi odborníky, kteří se touto problematikou dlouhodobě zabývají. Firma OpenAI už v roce 2022, před veřejným uvedením ChatGPT, najala takzvané red-teamery – externí testery, jejichž úkolem bylo aktivně zkoušet, zda a jak lze model přimět k porušení bezpečnostních pravidel. Tento přístup se od té doby stal standardní součástí vývoje podobných systémů napříč odvětvím.

Zavádění bezpečnostních mechanismů má ale svou cenu, a to doslova. Anthropic v roce 2023 uvedla, že nasazení jednoho typu klasifikátoru, tedy nástroje, který vyhodnocuje a případně blokuje potenciálně nebezpečné odpovědi, zvýšilo náklady na výpočetní výkon o 24 procent. Bezpečnostní opatření tak nejsou zadarmo a firmy musí hledat rovnováhu mezi ochranou uživatelů a ekonomickou udržitelností provozu svých modelů.

Na problematiku upozorňují i další odborníci zmínění v analýze, mimo jiné Ryan McBain z Harvardu a Paul Röttger z Hasso Plattner Institute. Jejich pohled naznačuje, že otázka odmítání nebezpečných požadavků není jen technickým detailem, ale má širší společenský a etický rozměr.

Jedním z citlivých aspektů je totiž i riziko zneužití samotných bezpečnostních mechanismů. Nástroje navržené k ochraně před nebezpečným obsahem mohou být teoreticky zneužity i k potlačení legitimního projevu, včetně kritiky autoritářských režimů. Pokud by byl systém nastaven příliš restriktivně nebo s politickým záměrem, mohl by sloužit k cenzuře místo k ochraně.

Analýza tak shrnuje, že navzdory pokroku od roku 2021 zůstává otázka spolehlivého odmítání nebezpečných požadavků ze strany AI otevřeným problémem. Modely se neustále zlepšují ve schopnosti rozpoznat rizikové dotazy, avšak vzhledem k probabilistické povaze jejich fungování nelze garantovat stoprocentní spolehlivost. Firmy jako OpenAI a Anthropic proto pokračují v investicích do testování, red-teamingu a vývoje klasifikačních nástrojů, které mají minimalizovat riziko zneužití umělé inteligence k nebezpečným nebo škodlivým účelům.