Bezpečnostní experti varují: skrytý HTML kód umí zmanipulovat AI shrnutí e-mailů

Bezpečnostní experti upozorňují na novou zranitelnost, která se týká e-mailových klientů využívajících umělou inteligenci k automatickému shrnování zpráv. Útočníci podle dostupných informací dokážou pomocí jednoduchého HTML kódu manipulovat obsah, který AI systémy zpracovávají, aniž by si toho příjemce e-mailu vůbec všiml.

Princip útoku spočívá v tom, že do e-mailu je vložen text formátovaný pomocí HTML tak, aby zůstal pro člověka při běžném čtení zprávy zcela neviditelný. Může jít například o text napsaný bílým písmem na bílém pozadí, o extrémně malé písmo nebo o prvky umístěné mimo viditelnou oblast zprávy. Zatímco lidské oko takový obsah ignoruje nebo si ho vůbec nevšimne, algoritmy pro automatické zpracování textu, na nichž jsou postaveny AI shrnovací nástroje, tento skrytý obsah přečtou a zahrnou do svého vyhodnocení.

Právě v tomto rozdílu mezi tím, co vidí člověk, a tím, co zpracovává stroj, spočívá jádro problému. AI-powered nástroje pro shrnování e-mailů jsou navrženy tak, aby uživatelům šetřily čas – místo čtení celé zprávy dostanou stručný výtah nejdůležitějších informací. Pokud však do zdrojového textu pronikne skrytý manipulativní obsah, shrnutí, které se uživateli zobrazí, může obsahovat informace, které autor e-mailu nikdy neuvedl viditelně, nebo naopak zkreslit význam původní zprávy.

Důsledkem takové manipulace je podle expertů produkce škodlivých informací. Uživatel, který se spoléhá na automaticky vygenerované shrnutí, aniž by si přečetl celý originální text, tak může být uveden v omyl. Toto riziko je o to závažnější, že AI shrnutí bývá vnímáno jako důvěryhodné a objektivní zpracování obsahu, přestože ve skutečnosti stroj jen reprodukuje to, co se skrytě podařilo do textu propašovat.

Technika využívá základní vlastnost, jak fungují jazykové modely a algoritmy zpracování přirozeného jazyka – ty pracují s textovým obsahem dokumentu jako celkem, nikoli pouze s tím, co je vizuálně viditelné na obrazovce. HTML formátování umožňuje oddělit tyto dvě vrstvy, tedy vizuální prezentaci a skutečný textový obsah, a právě tento rozpor útočníci zneužívají.

Cílem takových útoků jsou primárně nástroje, které automaticky zpracovávají a shrnují e-mailovou komunikaci pomocí umělé inteligence, tedy funkce integrované do moderních e-mailových klientů a asistentů, jejichž popularita v posledních letech roste díky snaze uživatelů zvládat rostoucí objem elektronické korespondence.

Bezpečnostní odborníci doporučují firmám i jednotlivcům, kteří tyto nástroje využívají, zvýšenou obezřetnost. Mezi doporučovaná opatření patří ověřování obsahu důležitých zpráv i mimo automatické shrnutí, sledování aktualizací bezpečnostních záplat u poskytovatelů e-mailových a AI služeb a obecná opatrnost vůči e-mailům z neznámých nebo nedůvěryhodných zdrojů.

Případ znovu ukazuje, že nasazení umělé inteligence do běžných pracovních nástrojů přináší nejen výhody v podobě úspory času, ale i nová bezpečnostní rizika, která je třeba průběžně vyhodnocovat a řešit. Vývojáři e-mailových platforem a AI asistentů budou muset podle expertů reagovat úpravou způsobu, jakým jejich systémy zpracovávají vstupní text – tedy zajistit, aby algoritmy braly v úvahu totéž, co vidí uživatel, a ne skrytý obsah, který má sloužit výhradně k manipulaci.