Firmy nasazují autonomní AI rychleji, než stíhají budovat dohled nad ní

Nový průzkum mezi seniorními vedoucími pracovníky v oblasti umělé inteligence odhaluje rozpor mezi tempem, jakým firmy nasazují autonomní AI systémy, a rychlostí, jakou budují mechanismy pro jejich kontrolu. Podle dotazovaných manažerů se v posledních měsících výrazně zrychlilo zavádění AI nástrojů schopných samostatně rozhodovat a jednat bez přímého lidského zásahu, zatímco procesy pro dohled nad těmito systémy zaostávají.

Respondenti průzkumu, mezi nimiž byli technologičtí ředitelé a další exekutivy zodpovědní za strategii umělé inteligence ve svých organizacích, se shodují na tom, že tlak konkurence a očekávání vedení firem nutí týmy nasazovat autonomní řešení rychleji, než stihnou vybudovat odpovídající kontrolní rámce. Výsledkem je podle nich rostoucí mezera mezi technologickými možnostmi a schopností organizací tyto systémy skutečně řídit a monitorovat.

Autonomní AI systémy se dnes používají napříč řadou odvětví – od finančnictví přes logistiku až po zákaznický servis – a jejich úkolem je často provádět rozhodnutí, která dříve vyžadovala lidský úsudek. Právě tato schopnost jednat bez okamžitého schválení člověkem podle vedoucích pracovníků zvyšuje riziko chyb, které mohou zůstat delší dobu nepovšimnuty, pokud firma nemá zavedené dostatečné kontrolní mechanismy.

Mezi hlavní nedostatky, na které dotazovaní exekutivy upozorňují, patří chybějící jasně definované procesy pro schvalování rozhodnutí AI, nedostatečné auditní stopy umožňující zpětně vysledovat, jak a proč systém dospěl k určitému závěru, a také absence pravidelného přezkumu výkonu autonomních nástrojů po jejich nasazení. Řada firem podle průzkumu spoléhá na kontrolní opatření, která byla navržena pro jednodušší, méně autonomní formy AI, a nedokázala je včas přizpůsobit novým, sofistikovanějším systémům.

Vedoucí pracovníci zapojení do průzkumu přitom nezpochybňují přínosy autonomní AI – shodují se, že tyto systémy dokážou zrychlit provozní procesy, snížit náklady a odbavit úkoly ve větším objemu, než na jaký stačí lidský personál. Zároveň ale varují, že bez odpovídajícího dohledu hrozí, že se drobné technické nedostatky nebo chybná rozhodnutí AI nakumulují do vážnějších problémů, ať už jde o finanční ztráty, poškození reputace firmy nebo regulační postihy.

Podle citovaných manažerů je jedním z klíčových problémů také to, že odpovědnost za dohled nad AI systémy bývá v organizacích rozdělena mezi více oddělení – technický tým, právní oddělení a byznysové jednotky – aniž by existovala jedna jasně určená role nebo tým, který by nesl celkovou odpovědnost za bezpečnost a soulad nasazených systémů s interními pravidly. Tato roztříštěnost podle nich zpomaluje reakci na případné problémy a ztěžuje jednotné nastavení standardů napříč celou firmou.

Průzkum dále naznačuje, že mnozí vedoucí pracovníci si jsou tohoto rizika vědomi a plánují v následujícím období investovat do posílení interních kontrolních procesů, včetně budování specializovaných týmů pro dohled nad AI, zavádění pravidelných auditů a testování systémů před jejich plným nasazením do produkčního provozu. Otázkou zůstává, zda tato opatření budou zavedena dostatečně rychle, aby držela krok s dalším rozšiřováním autonomních technologií.

Zjištění průzkumu tak potvrzují širší trend, na který upozorňují i odborníci mimo firemní sféru – totiž že vývoj a nasazování umělé inteligence v posledních letech výrazně předběhl schopnost regulátorů, firem i společnosti obecně vytvořit odpovídající pravidla a kontrolní mechanismy. Zatímco technologické firmy soutěží o to, kdo nabídne výkonnější a autonomnější systémy, otázka odpovědnosti, transparentnosti a bezpečnosti zůstává často až druhotným tématem, které se řeší dodatečně.

Pro firmy, které se s autonomní AI teprve seznamují nebo plánují rozšíření jejího využití, průzkum naznačuje jasné doporučení: investice do kontrolních procesů by měla probíhat souběžně s nasazováním nových technologií, nikoliv až poté, co dojde k prvním problémům. Vedoucí pracovníci v oboru se shodují, že bez důkladného dohledu riskují organizace nejen provozní chyby, ale i ztrátu důvěry zákazníků a partnerů, kterou lze v konkurenčním prostředí jen obtížně obnovit.