OWASP varuje: neomezená spotřeba tokenů u AI aplikací hrozí vysokými náklady firmám

Organizace OWASP, která se dlouhodobě zabývá bezpečností softwarových aplikací, zařadila do svého žebříčku Top 10 rizik pro aplikace využívající velké jazykové modely (LLM) i kategorii nazvanou Neomezená spotřeba. Toto riziko obsadilo šesté místo v aktuálním přehledu a podle expertů představuje pro podniky nasazující umělou inteligenci významnou finanční hrozbu.

Neomezená spotřeba se týká situací, kdy aplikace postavená na jazykovém modelu umožňuje uživatelům nebo automatizovaným procesům generovat nadměrné množství požadavků bez odpovídajících kontrolních mechanismů. Jazykové modely totiž pracují na principu zpracování takzvaných tokenů – jednotek textu, za jejichž zpracování se platí poskytovatelům výpočetního výkonu. Pokud aplikace nemá nastavené limity, může docházet k neúměrnému nárůstu nákladů spojených s provozem.

Problém může vzniknout několika způsoby. Útočník může cíleně zasypávat systém velkým množstvím dotazů, aby vyčerpal dostupné zdroje nebo vygeneroval podniku vysoké provozní náklady. Stejně tak může jít o neúmyslné zneužití, kdy chybně nastavená aplikace nebo nedostatečně otestovaný kód opakovaně volá model bez potřebné kontroly. V obou případech výsledek zůstává stejný – firma platí za výpočetní výkon, který nepřináší odpovídající hodnotu.

Podle OWASP může toto riziko vést k vysokým nákladům pro podniky, což z něj činí problém nejen technický, ale i ekonomický. U aplikací, které jsou veřejně dostupné nebo integrované do zákaznických služeb, se riziko násobí, protože objem interakcí s modelem může být obtížné předvídat. Firmy, které nasazují chatboty, asistenty nebo jiné nástroje založené na LLM, tak čelí riziku, že jejich provozní rozpočet bude zatížen neplánovanými výdaji.

Odborníci na kybernetickou bezpečnost doporučují zavádět opatření, která spotřebu zdrojů omezují a monitorují. Mezi běžně zmiňované přístupy patří nastavení limitů na počet požadavků od jednoho uživatele nebo IP adresy, omezení délky vstupů i výstupů generovaných modelem a průběžné sledování neobvyklých vzorců v provozu aplikace. Důležitou roli hraje také validace vstupů, která má zabránit tomu, aby uživatelé mohli systém zahltit uměle komplikovanými nebo opakovanými dotazy.

Zařazení Neomezené spotřeby do žebříčku OWASP ukazuje, že bezpečnostní rizika spojená s umělou inteligencí nejsou pouze otázkou úniku dat nebo manipulace s výstupy modelu, ale zahrnují i ekonomické dopady spojené s provozem těchto systémů. Organizace tím upozorňuje, že bezpečnost aplikací založených na LLM je třeba vnímat komplexně – nejen z pohledu ochrany citlivých informací, ale i z pohledu finanční udržitelnosti provozu.

OWASP svůj žebříček Top 10 pro aplikace LLM průběžně aktualizuje na základě zkušeností z praxe a zpětné vazby od bezpečnostní komunity. Cílem je poskytnout vývojářům, provozovatelům i firmám přehledný rámec, podle kterého mohou hodnotit rizika spojená s nasazením umělé inteligence a přijímat odpovídající opatření již ve fázi návrhu aplikace, nikoli až po vzniku problému.

Pro podniky, které plánují nasazení generativní umělé inteligence do svých produktů nebo interních procesů, tak doporučení OWASP představují užitečný podklad pro nastavení bezpečnostní strategie. Zohlednění rizika neomezené spotřeby už ve fázi návrhu může předejít nečekaným finančním výdajům a zajistit, že provoz aplikace zůstane pod kontrolou i při rostoucím počtu uživatelů nebo neočekávaném nárůstu zátěže.

Vzhledem k tomu, že využívání jazykových modelů ve firemním prostředí nadále roste, lze očekávat, že otázky spojené s efektivním řízením nákladů a prevencí zneužití zdrojů budou hrát stále významnější roli při návrhu a provozu takových systémů. Bezpečnostní komunita proto doporučuje věnovat pozornost nejen ochraně dat, ale i ekonomickým aspektům provozu umělé inteligence.