Sponzorovaný text: výhodu v podnikové AI určuje systém kolem modelu

Konkurenční výhoda v podnikové umělé inteligenci se podle nového textu přesouvá od samotného výběru modelu k systému, který kolem něj běží. Tvrdí to článek „Designing an AI serving harness built to last“, který 22. října 2026 vyšel na webu MIT Technology Review. Jeho autorem je Anand Logani. Jde přitom o sponzorovaný obsah vytvořený společností EXL, nikoli o text redakce MIT Technology Review.

Ústřední myšlenka je jednoduchá: modely jsou dnes široce dostupné, a proto se firmy od sebe odlišují hlavně tím, jak je dokážou provozovat. Autor pro tento systém používá označení serving harness. Zahrnuje architekturu, správu paměti, plánování a další optimalizace, které rozhodují o tom, jak rychle, spolehlivě a za jakou cenu model odpovídá na požadavky uživatelů. Právě tato vrstva má podle něj určovat, zda podnikové nasazení obstojí i s rostoucím zatížením.

Text vyjmenovává několik technik, na kterých takový systém stojí. Patří mezi ně scheduling a batching, tedy plánování a seskupování požadavků, dále kvantizace, spekulativní dekódování a optimalizované attention mechanismy. Zvláštní pozornost věnuje takzvané KV cache (key-value cache), tedy mezipaměti, do které model při inferenci ukládá již spočtené mezivýsledky.

Právě na ní autor ilustruje typické omezení. U inference totiž KV cache roste s počtem aktivních požadavků i s délkou kontextu. Výsledkem může být vyčerpání paměti GPU, a to i tehdy, když je k dispozici dostatek výpočetního výkonu. Úzkým hrdlem tak nemusí být samotné počítání, ale paměť, což podle textu není vždy na první pohled zřejmé a snadno vede k chybným investicím.

Z toho vyplývá i doporučený postup. Autor radí nejprve měřit, poté identifikovat dominantní omezení, to řešit a následně měřit znovu. Optimalizace by podle něj neměla začínat na základě domněnek, ale na datech o skutečném chování systému. Pokaždé je třeba zjistit, co aktuálně brzdí výkon nejvíc, a teprve na to cílit, protože odstranění jednoho úzkého hrdla obvykle odhalí další.

Článek zmiňuje také sérii nazvanou „EXL Engineering the Harness“, kterou mají připravovat výzkumníci společnosti EXL. Dílčí témata, jako je správa paměti nebo plánování, se tak mají rozebírat podrobněji v navazujících textech.

U textu je třeba mít na paměti jeho povahu. Jde o obsah placený firmou EXL, který prezentuje její pohled na věc, a ne o nezávislou analýzu novinářů. Samotná teze o významu serving vrstvy však odpovídá širší debatě v oboru, v níž se pozornost od porovnávání modelů stále více obrací k efektivitě jejich provozu.