Hlavní vědec OpenAI varuje: bezpečnost AI nestíhá tempo jejího vývoje

Hlavní vědecký pracovník společnosti OpenAI Jakub Pachocki upozornil na rostoucí schopnosti umělé inteligence a na s tím spojená rizika, pokud nebudou systémy dostatečně sladěny s lidskými hodnotami. Podle jeho slov postupuje vývoj AI takovým tempem, že otázka bezpečnosti a kontroly už není teoretickým problémem budoucnosti, ale naléhavou výzvou přítomnosti.

Pachocki patří mezi klíčové postavy stojící za vývojem pokročilých modelů OpenAI a dlouhodobě se věnuje tématu takzvaného zarovnání AI, tedy snahy zajistit, aby jednání a rozhodování umělé inteligence odpovídalo záměrům a hodnotám lidí, kteří ji vytvářejí a používají. V souvislosti se současným pokrokem zdůraznil, že schopnosti systémů rostou rychleji než nástroje, které mají zajistit jejich bezpečné a předvídatelné chování.

Podle Pachockého je proto nutné investovat do silnějších ochranných opatření, která by dokázala udržet krok s rostoucím výkonem AI modelů. Zmínil, že samotné technické zabezpečení uvnitř jednotlivých společností nestačí, pokud nebude doprovázeno širší shodou napříč odvětvím na standardech bezpečnosti a testování.

Druhým pilířem jeho návrhu je mezinárodní koordinace. Pachocki argumentuje, že vzhledem k celosvětovému dosahu umělé inteligence nemůže být otázka jejího bezpečného vývoje řešena izolovaně jednotlivými státy nebo firmami. Podle něj je potřeba, aby vlády, výzkumné instituce a soukromé společnosti napříč zeměmi spolupracovaly na sdílených pravidlech a mechanismech dohledu, které by zabránily situaci, kdy by konkurenční tlak vedl k obcházení bezpečnostních standardů.

Pachocki v této souvislosti varoval, že bez takové spolupráce hrozí takzvaný závod ke dnu, kdy by jednotliví aktéři upřednostňovali rychlost vývoje před opatrností. Zdůraznil, že cílem by mělo být vytvoření prostředí, v němž bude bezpečnost považována za konkurenční výhodu, nikoli za překážku inovace.

Téma zarovnání AI s lidskými hodnotami se v posledních letech stalo jedním z ústředních bodů diskuse mezi výzkumníky, tvůrci politik i veřejností. S tím, jak modely umělé inteligence získávají schopnost provádět stále složitější úkoly, roste i obava, že jejich chování se může v některých situacích odchýlit od záměrů jejich tvůrců, aniž by to bylo snadno rozpoznatelné. Pachocki proto volá po tom, aby vývoj bezpečnostních metod probíhal souběžně s vývojem samotných schopností systémů, nikoli až jako dodatečná reakce na vzniklé problémy.

Jeho vyjádření zapadá do širšího trendu, kdy přední odborníci z oblasti umělé inteligence veřejně upozorňují na potřebu obezřetnosti navzdory komerčnímu i společenskému tlaku na rychlé nasazování nových technologií. Podobné hlasy zaznívají i od dalších výzkumníků a institucí, které se zabývají dlouhodobými riziky spojenými s pokročilými formami AI, including scénáři, kdy by systémy mohly jednat způsobem, který jejich tvůrci nepředvídali nebo nedokázali včas odhalit.

Pachocki zároveň naznačil, že řešení tohoto problému bude vyžadovat nejen technický pokrok v oblasti interpretovatelnosti a testování modelů, ale také institucionální rámce, které umožní transparentní sdílení poznatků o rizicích mezi konkurenčními společnostmi. Podle něj by taková spolupráce mohla pomoci předejít situaci, kdy by jednotlivé firmy pracovaly izolovaně a nevědomky opakovaly stejné chyby nebo přehlížely podobná rizika.

Otázka, jak sladit rychlý technologický pokrok s potřebou bezpečnosti, zůstává i nadále předmětem debaty mezi zástupci technologických firem, akademické sféry a regulátorů. Vyjádření Pachockého přichází v době, kdy se schopnosti nejmodernějších AI systémů nadále rozšiřují a jejich nasazení proniká do stále více oblastí lidské činnosti, od vědeckého výzkumu přes obchod až po veřejnou správu. Právě tato šíře využití podle něj zvyšuje důležitost toho, aby byly bezpečnostní mechanismy zavedeny dříve, než dojde k případným závažným selháním.

Pachockého apel na silnější ochranná opatření a mezinárodní spolupráci tak představuje další příspěvek do probíhající diskuse o tom, jakým způsobem by měl být budoucí vývoj umělé inteligence řízen tak, aby přinášel společenský prospěch a zároveň minimalizoval rizika spojená s jejím nekontrolovaným rozšiřováním.