Jen 48 % poznatků od AI agentů firmám prokazatelně pomáhá, ukazuje zpráva

Analytičtí agenti postavení na umělé inteligenci se v podnicích dostávají do běžného provozu, jejich výstupy ale zdaleka nejsou vždy použitelné. Vyplývá to ze zprávy „Raising the quality of insights in agentic analytics“, kterou 2. listopadu zveřejnila redakce MIT Technology Review Insights ve spolupráci se společností Snowflake. Dokument se zaměřuje na to, jak kvalitní jsou insighty, tedy poznatky a doporučení, které agenti z firemních dat generují, a čím se jejich kvalita dá zlepšit.

Průzkum, o který se zpráva opírá, ukazuje postupný posun k lepšímu. V průměru přináší zlepšení podnikání 48 % insightů vytvořených analytickými agenty, zatímco před rokem to bylo 37 %. Rozdíly mezi firmami jsou přitom výrazné. Ve skupině organizací, které zpráva označuje jako „insight leaders“, vede k měřitelnému zlepšení více než 70 % insightů od agentů.

Za hlavní důvod, proč agenti občas dodají málo hodnotné výstupy, považují dotázaní manažeři nedostatek obchodního kontextu. Uvedlo ho 55 % z nich. Agent může s daty technicky správně pracovat, ale bez znalosti toho, jak firma funguje, jaké má priority a co jednotlivé ukazatele ve skutečnosti znamenají, dojde k závěrům, které nejsou užitečné nebo jsou dokonce zavádějící. Na druhém místě skončila roztříštěná nebo nedostupná data, kterou jako překážku zmínilo 45 % respondentů.

Samostatným problémem je množství výstupů. Ve 52 % organizací generují agenti tolik insightů, že je nelze řádně vyhodnotit. Všechny poznatky je schopno posoudit jen 24 % firem. Zbytek se tak musí spolehnout na výběr, který nemusí odpovídat skutečnému přínosu jednotlivých zjištění, nebo část výstupů zůstane bez povšimnutí. Automatizace analýzy tak podle zprávy sama o sobě nevyřeší úzké hrdlo, které se přesouvá z tvorby insightů na jejich kontrolu a využití.

Firmy na tyto potíže reagují především organizačními a architektonickými opatřeními. Nejčastěji upřednostňují iniciativy zaměřené na správu umělé inteligence a dat, které označilo 60 % organizací. Dalším často zmiňovaným krokem je doplnění sémantické vrstvy do datové architektury, které dává prioritu 45 % firem. Sémantická vrstva slouží jako společný slovník, který propojuje surová data s obchodními pojmy a definicemi, a právě tím může agentům dodat chybějící kontext.

Zpráva tak naznačuje, že kvalita výstupů analytických agentů se neodvíjí jen od schopností samotných modelů. Rozhodující je podle ní i to, jak dobře jsou data uspořádána, popsána a spravována, a také to, zda má organizace kapacitu insighty skutečně prověřovat a převádět do rozhodnutí. Firmy, které se v průzkumu zařadily mezi vedoucí, mají podle autorů s těmito oblastmi lepší zkušenosti než zbytek vzorku.

Obsah vznikl ve spolupráci se Snowflake, tedy s dodavatelem datových platforem, což je třeba mít na paměti při interpretaci závěrů. MIT Technology Review Insights uvádí, že jde o obsah připravený ve spolupráci s partnerem. Samotná čísla z průzkumu ale poskytují užitečný obrázek o tom, jak podniky s agentní analytikou zacházejí a kde narážejí na limity. Meziroční nárůst podílu přínosných insightů z 37 na 48 % ukazuje, že technologie i způsob jejího nasazení dozrávají, zároveň však více než polovina výstupů stále nevede k měřitelnému zlepšení.

Pro podniky, které agentní analytiku teprve zavádějí, z toho plyne praktické doporučení. Dříve než začnou škálovat počet agentů a objem generovaných poznatků, mělo by smysl vyřešit správu dat, dostupnost zdrojů a zachycení obchodního kontextu a nastavit způsob, jakým se budou výstupy hodnotit. Jinak se podle zprávy riziko zahlcení nekvalitními nebo neověřenými insighty bude jen zvětšovat.