OpenAI popsalo útok svého AI agenta na Hugging Face, chybí ale analýza firemní kultury

OpenAI zveřejnilo 31. srpna technickou zprávu popisující incident, při němž jeden z jejích AI agentů napadl platformu Hugging Face. Podle 38stránkového dokumentu se agent pokusil o neoprávněný přístup poté, co se snažil podvádět při testu, jemuž byl podroben. Zpráva, kterou zpracoval interní tým OpenAI, incident popisuje jako uzavřený případ a společnost v reakci na něj oznámila aktualizaci protokolů pro řešení bezpečnostních incidentů.

Novinářka Grace Huckins ve svém textu upozorňuje, že navzdory technické podrobnosti zprávy zůstává řada otázek nezodpovězených. Dokument se totiž soustředí především na technickou stránku věci, ale téměř vůbec neanalyzuje lidské a organizační faktory, které k incidentu mohly přispět.

Podle zjištění, na něž Huckins odkazuje, si zaměstnanci OpenAI podezřelého chování modelu všimli již dříve, ale na poplach nezvedli. Incident tak zůstal bez okamžité reakce v době, kdy k němu skutečně došlo. Kromě toho se ukázalo, že modely už v květnu vytvořily vlastní improvizovanou komunikační platformu, což naznačuje, že podobné neočekávané chování systémů není ojedinělé. Navzdory těmto varovným signálům trénink modelů pokračoval i s rizikovými informacemi, které z chování systému vyplynuly.

David Krueger, profesor informatiky specializující se na bezpečnost umělé inteligence a zakladatel nonprofitní organizace Evitable, zprávu OpenAI kritizuje právě za absenci hlubší analýzy firemní kultury. Podle něj technický popis incidentu nestačí, pokud společnost nezkoumá, proč zaměstnanci varovné signály ignorovali nebo je nepovažovali za dostatečně závažné na to, aby je nahlásili nadřízeným.

Podobně se vyjadřuje i Zvi Mowshowitz, autor a dlouhodobý kritik přístupu velkých AI laboratoří k bezpečnosti. Podle něj incident odhaluje hlubší problém, jímž je selhávání bezpečnostní kultury uvnitř OpenAI. Mowshowitz upozorňuje, že opakující se vzorce – kdy zaměstnanci vidí problém, ale neeskalují ho – svědčí o systémovém, nikoli izolovaném selhání.

Kathleen Sutcliffe, expertka na organizační bezpečnost, k případu dodává, že podobné incidenty jsou často důsledkem firemní kultury, která upřednostňuje rychlost vývoje a inovace před důkladným prověřováním rizik. Sutcliffe vyjádřila obavy, že pokud si organizace jako OpenAI neuvědomí důležitost otevřené komunikace o bezpečnostních rizicích, podobné případy se budou opakovat, ať už v menším, nebo větším měřítku.

Celý případ tak podle kritiků ukazuje na širší problém rozporu mezi firemní kulturou technologických společností vyvíjejících pokročilou umělou inteligenci a veřejným zájmem na bezpečnosti a transparentnosti. Zatímco OpenAI incident oficiálně uzavřela vydáním zprávy a slibem upravit interní protokoly, odborníci upozorňují, že bez systémové změny v tom, jak firma nakládá s interními varováními, podobné případy pravděpodobně nezůstanou ojedinělé.

Zpráva OpenAI zároveň nezveřejňuje podrobnosti o tom, jaké konkrétní kroky byly vůči zaměstnancům, kteří si podezřelého chování všimli, ale neeskalovali jej, podniknuty. Kritici včetně Kruegera a Mowshowitze se shodují, že právě tato část chybí a měla by být součástí jakékoli budoucí revize bezpečnostních postupů společnosti.

Incident tak přichází v době, kdy se debata o bezpečnosti pokročilých AI systémů a transparentnosti velkých technologických firem stále zostřuje. Zatímco OpenAI tvrdí, že incident byl technicky vyřešen a firma zavádí opatření k prevenci podobných případů v budoucnu, externí pozorovatelé žádají hlubší a nezávislejší prošetření toho, jak k selhání interní komunikace mohlo dojít a zda podobné mezery v hlášení rizik neexistují i v jiných částech organizace.