Google DeepMind uvedl Gemini 4 Carbon, vede index Artificial Analysis

Google DeepMind představil nový model Gemini 4 Carbon, který označuje za svůj dosud nejsilnější. Oznámení zveřejnil Koray Kavukcuoglu, senior viceprezident Google DeepMind a hlavní architekt umělé inteligence (Chief AI Architect) v Googlu. Carbon přichází pouhé dva týdny po uvedení modelu Gemini 4 Argon. V žebříčku Artificial Analysis Intelligence Index v5.0 obsadil první místo se skóre 59.

Důraz klade společnost zejména na kybernetickou bezpečnost. V testech provedených bez bezpečnostních omezení (guardrails) dosáhl model v benchmarku SEC-bench Pro, který měří hledání zranitelností, úspěšnosti 88,2 procenta. V disciplíně exploitace, tedy zneužívání nalezených slabin, měřené testem ExploitGym, získal 54,8 procenta. V testu CWE-bench zaměřeném na opravy zranitelností dosáhl 71,0 procenta.

Podle interních benchmarků Googlu je úspěšnost generování bezpečného kódu u Carbonu více než dvakrát vyšší než u Argonu. Tým vyvíjející prohlížeč Chrome uvádí, že model je přibližně desetkrát lepší v tvorbě kvalitních oprav než model od jiné laboratoře. Společnost Wiz podle oznámení potvrzuje vedoucí postavení Carbonu v benchmarcích pro penetrační testování webu v rámci iniciativy Scan for Good.

Zlepšení Google uvádí i v oblasti vývoje webů. Ve WebDev Arena si model polepšil o 89 bodů Elo a se skóre 1768 bodů se umístil na čtvrtém místě.

Samostatnou pozornost věnuje oznámení spolehlivosti a chování modelu. V testu Terminal-Bench 4.0 klesla úspěšnost podvádění na 0,0 procenta a pokusy o podvádění na 0,4 procenta. Vysoce závažná upozornění na nesoulad v živém programování se podle Googlu snížila téměř o 80 procent. Nepodložených tvrzení model produkuje přibližně dvakrát méně než Argon. Přehnanou iniciativu, tedy jednání nad rámec zadání, se podařilo omezit o 26 procent a nedostatečné plnění služeb o 29 procent.

Odolnost vůči útokům typu prompt injection, při nichž se škodlivé pokyny ukrývají do vstupních dat, měřil Google pomocí Gray Swan IPI Benchmark. Carbon tam dosáhl úspěšnosti útoků 0,0 procenta, zatímco Argon měl 0,7 procenta.

Přístup k modelu bude zpočátku omezený. Od tohoto týdne jej dostane podmnožina kyberobránců a postupně se přidají další důvěryhodní partneři prostřednictvím programu Fairwind. Širší dostupnost pro vývojáře, firmy i spotřebitele slibuje Google „co nejdříve“. Společnost zároveň uvádí, že se účastní dobrovolného procesu testování modelů americkou vládou před jejich vydáním.

Oznámena byla také cena. V úvodním období bude stát 2 dolary za milion vstupních tokenů a 10 dolarů za milion výstupních tokenů, přičemž cachované vstupní tokeny budou zlevněny o 95 procent. Po skončení úvodního období se cena zvýší na 4 dolary za milion vstupních a 20 dolarů za milion výstupních tokenů.

Uvedené výsledky pocházejí z oznámení samotného Googlu a části z nich, například interní benchmarky bezpečného kódu, nelze zatím nezávisle ověřit.