Jazykové modely jsou zranitelné vůči prompt injection útokům a jailbreakům

Velké jazykové modely, které v posledních letech zažívají bouřlivý rozvoj a stále častěji nacházejí uplatnění v komerčních i veřejných službách, čelí závažným bezpečnostním rizikům. Odborníci na kybernetickou bezpečnost upozorňují, že tyto systémy jsou náchylné k sofistikovaným útokům, mezi nimiž zvláštní pozornost přitahují takzvané prompt injections a jailbreaky.

Princip útoku typu prompt injection spočívá v tom, že útočník do vstupu modelu vloží speciálně formulované instrukce, které mají za cíl přepsat nebo obejít původní systémové pokyny. Jinými slovy, útočník může modelu podstrčit vlastní škodlivé instrukce a přimět ho, aby se choval způsobem, který jeho provozovatel nikdy nezamýšlel. Model pak může například vyzradit citlivé interní informace, generovat nebezpečný obsah nebo provádět akce, které jsou v přímém rozporu s nastavenými bezpečnostními pravidly.

Jailbreak je podobný typ útoku, avšak jeho cílem je spíše přimět model, aby překročil etické nebo provozní limity, které do něj výrobce zabudoval. Útočníci k tomu využívají různé techniky – od zdánlivě nevinných rolových her, v nichž model dostane pokyn, aby „předstíral, že je jiný systém bez omezení, až po komplexní vícevrstvé instrukce, které model postupně vedou k zakázanému chování. Výzkumníci přitom opakovaně prokázali, že ani modely od předních světových vývojářů nejsou vůči těmto útokům zcela imunní.

Problém má přímé praktické dopady. Velké jazykové modely jsou dnes integrovány do zákaznických chatbotů, nástrojů pro zpracování dokumentů, automatizovaných e-mailových systémů nebo dokonce do aplikací, které mají přístup k interním firemním datům. Pokud útočník dokáže prostřednictvím prompt injection převzít kontrolu nad chováním modelu, může to mít vážné následky – od úniku důvěrných informací přes šíření dezinformací až po přímé škody způsobené automatizovanými akcemi systému.

Zvláště nebezpečná je varianta útoku označovaná jako nepřímá prompt injection. V tomto případě útočník nevkládá škodlivé instrukce přímo do konverzace s modelem, ale ukryje je například do webové stránky, dokumentu nebo e-mailu, který model následně zpracovává. Pokud je model vybaven schopností číst externí obsah – což je u moderních systémů stále běžnější – může nevědomky zpracovat a vykonat instrukce, které tam útočník záměrně umístil.

Obrana proti těmto útokům není triviální. Vývojáři se snaží problém řešit kombinací různých přístupů, jako jsou přísnější filtrování vstupů, speciální trénink zaměřený na odolnost vůči manipulaci nebo architektonická oddělení systémových a uživatelských instrukcí. Žádné z těchto řešení však zatím neposkytuje stoprocentní ochranu. Bezpečnostní komunita se shoduje, že jde o fundamentální výzvu, která pramení ze samotné povahy toho, jak velké jazykové modely fungují – tyto systémy totiž ze své podstaty zpracovávají přirozený jazyk a rozlišení mezi legitimními pokyny a škodlivými instrukcemi pro ně není vždy jednoznačné.

Situaci dále komplikuje skutečnost, že útočné techniky se neustále vyvíjejí. Jakmile vývojáři zablokují jeden způsob obejití bezpečnostních opatření, výzkumníci i skuteční útočníci přicházejí s nov