Sponzorovaný text HPE v MIT Technology Review prosazuje cenu za užitečný výsledek

MIT Technology Review zveřejnil 20. října článek s názvem „The new economics of enterprise AI, jehož autorem je David Sydow. Jde o sponzorovaný obsah: text nevytvořila redakce magazínu, ale společnost HPE, která za ním stojí jako zadavatel. Čtenář by to měl mít na paměti, protože argumentace míří k produktům a službám tohoto výrobce.

Hlavní teze textu zní, že podnikové AI se přesouvá od izolovaných experimentů k roli základní infrastruktury. Podle autorů z toho plyne změna pohledu na ekonomiku: u systémů, které firma provozuje trvale a ve velkém, už nestačí sledovat pouhou spotřebu, tedy kolik tokenů nebo výpočetního času se využije. Důležitější se podle článku stává efektivita, tedy kolik užitečné práce firma za vynaložené prostředky skutečně získá.

K tomu text navrhuje metriku nazvanou efektivní náklad na užitečný výsledek (effective cost per useful outcome). Zahrnuje celkové náklady na platformu, model, provoz i kapacitu potřebné k dokončení využitelné práce. Nejde tedy o cenu za jednotlivý dotaz či token, ale o cenu za výsledek, který má pro podnik reálnou hodnotu.

Článek rozlišuje tři způsoby, jak podniky AI provozují. Prvním je vlastní, takzvaně bespoke stack, který si firma skládá a spravuje sama. Druhým je spotřeba na vyžádání u hyperscalerů nebo přes API, kde se platí za využití. Třetím je integrovaná privátní AI platforma s vlastní nebo dedikovanou kapacitou. Právě tuto třetí variantu text zjevně staví do popředí a v této souvislosti zmiňuje produkt HPE Private Cloud AI.

Ke zmíněné platformě článek uvádí 90denní spolupráci s takzvanými forward-deployed engineers, tedy inženýry, kteří pracují přímo u zákazníka. Podrobnosti o obsahu této spolupráce jsou v dostupných informacích omezené, text ji však představuje jako součást cesty k provozu AI ve velkém.

Zajímavým prvkem je odkaz na interní testování, které zadala sama společnost HPE. Podle něj integrovaná platforma při vysokém vytížení nabídla nižší efektivní cenu za token než opakovaný pronájem srovnatelné kapacity. Jde tedy o měření zadané výrobcem, nikoli nezávislé porovnání. Sám článek přitom upozorňuje, že výsledky se budou lišit podle typu zátěže a podle toho, jak vysoké vytížení se podaří udržet. Právě vytížení je přitom klíčovou proměnnou: vlastní nebo dedikovaná kapacita se vyplatí tehdy, když zůstává využitá, zatímco u kolísavé poptávky může mít smysl platit jen za skutečnou spotřebu.

Text doporučuje plánovat s výhledem na 12 až 18 měsíců, a to zejména s ohledem na očekávaný nárůst objemu práce, kterou bude AI zajišťovat. Úvaha je prostá: pokud se zátěž bude zvyšovat, mění se i poměr mezi fixními náklady na kapacitu a proměnnými náklady na spotřebu a rozhodnutí učiněné dnes se může za rok či dva ukázat jako dražší, než se zdálo.

Pokud jde o technické páky, kterými lze efektivní náklad snižovat, článek jmenuje plánování úloh, výběr modelu, dělení GPU (GPU partitioning) a správu KV-cache. Za zmínku stojí zejména výběr modelu, protože ne každý úkol vyžaduje největší dostupný model, a dělení GPU, které umožňuje jednu kartu sdílet mezi více menších zátěží. Správa KV-cache se týká paměti, do které modely ukládají mezivýsledky při generování odpovědí, a ovlivňuje propustnost i využití hardwaru. Text tyto prvky představuje jako způsob, jak z dané kapacity vytěžit víc užitečné práce.

Celkově jde o text, který argumentuje ve prospěch vlastní nebo dedikované infrastruktury pro dlouhodobé a rozsáhlé nasazení AI, a to prostřednictvím metriky, která má posunout debatu od ceny za token k ceně za výsledek. Protože ho připravil dodavatel řešení, které doporučuje, je vhodné brát jeho závěry jako stanovisko výrobce, nikoli jako nestranné srovnání. Na stejné stránce magazín nabízí i další, s tématem nesouvisející texty: „Don't be fooled—LLMs don't reason od Thore Graepela, „Don't be fooled by this summer of AI hype od Timnit Gebru a Emily M. Bender a „The inside story on why OpenAI agents hacked Hugging Face od Grace Huckins. Ty už redakční obsah magazínu představují, na rozdíl od sponzorovaného článku HPE.