OpenAI popsalo systém Habitat: čtení v ChatGPT zrychlil až 12×

OpenAI zveřejnilo druhý díl série věnované tomu, jak rychle škálovat online úložiště tak, aby obsloužilo více než miliardu uživatelů ChatGPT. Článek nazvaný „Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)“ navazuje na předchozí část a popisuje systém označovaný jako Habitat. Podle uvedených informací se v něm uplatňuje víceuživatelská architektura (multi-tenancy), globální cachování a databáze Azure Cosmos DB. Jako hlavní přínos se uvádí až 12× rychlejší čtení pro ChatGPT.

Z dostupných údajů vyplývá, že jde o technický text zaměřený na infrastrukturu, která stojí za jednou z nejrozšířenějších aplikací generativní umělé inteligence. Rozsah služby, tedy přes miliarda uživatelů, klade na úložnou vrstvu mimořádné nároky. Každý uživatel s sebou nese vlastní data, jako jsou konverzace či nastavení, a tato data je nutné ukládat spolehlivě a číst s co nejmenší prodlevou. U takto velkého provozu se rozhodující roli hraje právě rychlost čtení, protože čtecí operace tvoří typicky většinu zátěže.

Víceuživatelská architektura znamená, že jednu společnou infrastrukturu sdílí velké množství uživatelů či zákazníků, přičemž jejich data zůstávají logicky oddělená. Takový přístup umožňuje efektivněji využívat zdroje a snáze systém rozšiřovat. Globální cachování pak slouží k tomu, aby často požadovaná data byla k dispozici blíže místu, odkud se na ně přistupuje, a nebylo nutné pokaždé sahat do primárního úložiště. Právě kombinace těchto přístupů je v souvislosti s Habitatem zmiňována jako cesta ke zrychlení čtení.

Jako technologický základ se v textu objevuje Azure Cosmos DB, globálně distribuovaná databázová služba od společnosti Microsoft. Ta je v ekosystému kolem OpenAI přirozenou volbou, protože obě firmy dlouhodobě úzce spolupracují a výpočetní kapacity OpenAI běží z velké části na cloudu Azure. Konkrétní architektonické detaily, výkonnostní metriky nad rámec uváděného dvanáctinásobného zrychlení nebo podrobnosti o migraci ze starších řešení však z dostupných podkladů nevyplývají, a proto je zde nelze uvádět.

Označení „část II“ ukazuje, že OpenAI k tématu přistupuje jako k delší sérii. První díl se podle všeho věnoval úvodu do problematiky a výchozím výzvám, druhý rozvíjí konkrétní řešení. Takové technické články patří k praxi velkých technologických firem, které sdílejí zkušenosti s provozem systémů v extrémním měřítku. Pro vývojáře a správce infrastruktury jsou užitečné i mimo kontext samotného ChatGPT, protože problémy jako sdílení zdrojů mezi mnoha uživateli, odolnost při výpadcích či latence čtení řeší prakticky každá rychle rostoucí služba.

Rychlost čtení se u konverzačních aplikací projevuje přímo v uživatelském zážitku. Historie konverzací, uložené preference nebo kontext předchozích dotazů se musejí načítat okamžitě, jinak působí aplikace pomalu bez ohledu na to, jak rychle pracuje samotný jazykový model. Zrychlení čtení až dvanáctkrát proto může znamenat znatelný rozdíl, zejména ve chvílích špičkového provozu, kdy se na službu připojují miliony lidí současně.

Přínos Habitatu se v textu vztahuje především k úložné vrstvě, nikoli k výpočetní náročnosti samotných modelů, které jsou samostatnou kapitolou provozu. Úložiště přitom zůstává často přehlíženou, ale kritickou součástí celého řetězce. Pokud selže nebo zpomalí, projeví se to v celé aplikaci. Škálování na miliardu uživatelů tak vyžaduje promyšlený návrh na všech úrovních, od databáze přes mezivrstvy až po způsob, jak se data distribuují po světě.

Podrobnější technické údaje, včetně toho, jak přesně Habitat kombinuje víceuživatelský model s globální cache a jak využívá Cosmos DB, jsou k nalezení v samotném článku OpenAI. Z dostupných informací je jisté především to, že se jedná o pokračování série, že se týká služby s více než miliardou uživatelů a že OpenAI uvádí dvanáctinásobné zrychlení čtení.