OpenAI zavádí režim Lockdown a štítky Elevated Risk pro ChatGPT

Organizace, které ve svých systémech využívají ChatGPT, získávají nové nástroje pro ochranu před rostoucími bezpečnostními hrozbami. Konkrétně jde o zavedení takzvaného režimu Lockdown a systému štítků označovaných jako Elevated Risk, jejichž společným cílem je bránit útokům typu prompt injection a zamezit neoprávněné exfiltraci dat řízené umělou inteligencí.

Prompt injection patří v současnosti mezi nejzávažnější bezpečnostní rizika spojená s nasazením velkých jazykových modelů v podnikových prostředích. Útočník při tomto typu útoku vkládá do vstupu modelu skryté instrukce, které mají za cíl přimět AI k chování, jež její provozovatel nezamýšlel. Model může být takto manipulován k tomu, aby ignoroval původní pokyny, vyzradil citlivé informace nebo provedl akce ve prospěch útočníka. Riziko je zvláště akutní v situacích, kdy AI zpracovává dokumenty, e-maily nebo jiný obsah pocházející z externích zdrojů, nad nimiž nemá organizace plnou kontrolu.

Režim Lockdown představuje přísnější provozní nastavení, při němž jsou výrazně omezeny možnosti modelu přijímat a vykonávat instrukce z nedůvěryhodných zdrojů. V praxi to znamená, že systém automaticky blokuje nebo označuje pokusy o přepsání systémových pokynů a omezuje rozsah akcí, které může AI provádět bez explicitního schválení ze strany oprávněného uživatele. Tento přístup vychází z principu minimálních oprávnění, který je v oblasti kybernetické bezpečnosti dlouhodobě uznávaným standardem, avšak jehož aplikace na jazykové modely přináší specifické výzvy.

Systém štítků Elevated Risk doplňuje Lockdown tím, že zavádí mechanismus průběžného hodnocení rizika jednotlivých interakcí. Pokud model vyhodnotí, že aktuální vstup nebo kontext vykazuje znaky potenciálně nebezpečného chování, přiřadí dané interakci příslušný štítek. Ten může sloužit jako signál pro automatizované systémy i pro lidské operátory, kteří pak mohou situaci prověřit nebo zasáhnout. Jde tedy o kombinaci preventivního a detekčního přístupu, nikoli pouze o reaktivní obranu.

Exfiltrace dat řízená AI představuje specifický scénář, při němž je jazykový model zneužit jako prostředník pro vynášení citlivých informací mimo kontrolované prostředí organizace. Útočník může například prostřednictvím prompt injection přimět model, aby citlivá data zakódoval do zdánlivě nevinného výstupu, jako je doporučení odkazu nebo formulace odpovědi, která obsahuje skryté informace. Tento typ útoku je obtížně detekovatelný právě proto, že výstup modelu může navenek působit zcela legitimně.

Zavedení nových bezpečnostních mechanismů odráží širší trend, kdy organizace přecházejí od naivního nasazení AI nástrojů k jejich zodpovědné integraci do bezpečnostních architektur. Regulatorní tlak, zejména v Evropské unii v souvislosti s nařízením o umělé inteligenci, rovněž přispívá k tomu, že firmy věnují otázkám bezpečnosti a transparentnosti AI systémů větší pozornost než dříve.

Odborníci na kybernetickou bezpečnost přitom upozorňují, že žádné technické opatření samo o sobě neposkytuje úplnou ochranu. Režim Lockdown a štítky Elevated Risk jsou účinné nástroje, jejich efektivita však závisí na správné konfiguraci, pravidelné aktualizaci a na tom, zda jsou zasazeny do širšího bezpečnostního rámce organizace. Klíčová