Anthropic objevil skrytou oblast J-space uvnitř jazykových modelů AI

Společnost Anthropic oznámila objev nové skryté oblasti uvnitř velkých jazykových modelů, kterou její výzkumníci pojmenovali J-space. Objev byl učiněn pomocí techniky zvané Jacobian lens, zkráceně J-lens, a mohl by výrazně posunout schopnost vědců porozumět tomu, co se skutečně děje uvnitř systémů umělé inteligence. Výsledky výzkumu byly zveřejněny v dokumentu na webových stránkách společnosti.

J-space vzniká jako vedlejší produkt techniky J-lens, která umožňuje nahlédnout do vnitřního fungování jazykových modelů způsobem, jenž dosud nebyl dostupný. Výzkum spadá do oblasti zvané mechanistic interpretability, tedy snahy doslova rozklíčovat, jak modely zpracovávají informace na úrovni jednotlivých výpočetních kroků. Cílem není jen akademické poznání – Anthropic i spolupracující výzkumníci usilují o to, aby bylo možné modely lépe kontrolovat a předvídat jejich chování.

Konkrétní příklady z J-space ukazují, jak model vnitřně reprezentuje různé typy vstupů. Když byl modelu zadán výpočet (4+7)*2+7, J-space aktivoval slova jako „math a čísla „21 a „42. Při zpracování řetězce aminokyselin „MSKGEELFTGVVPILVELDGDVNGHKFSVS se v J-space objevila slova „protein, „fluor a „green – přičemž daný řetězec skutečně odpovídá sekvenci zeleného fluorescenčního proteinu. A když model dostal na vstup ASCII obličej, J-space reagoval slovy „eye, „nose, „face a „smile. Tyto příklady naznačují, že model si vytváří jakési vnitřní sémantické shrnutí toho, s čím pracuje, ještě předtím, než vygeneruje výstup.

Vědci přirovnávají J-space ke konceptu globálního workspace v lidském mozku – tedy k hypotetickému prostoru, kde se různé kognitivní procesy setkávají a integrují do koherentního vědomého zážitku. Jde o odvážnou analogii, která ale naznačuje, že J-space by mohl plnit podobnou integrační funkci uvnitř jazykového modelu. Zatímco většina dosavadního výzkumu interpretability se soustředila na analýzu jednotlivých neuronů nebo vrstev sítě, J-space nabízí pohled na vyšší úrovni abstrakce.

Tom McGrath, hlavní vědec a spoluzakladatel společnosti Goodfire, výsledky komentoval střízlivě: „A lot of the time the contents of the J-space are fairly mundane, tedy že obsah J-space je velmi často zcela všední. Toto přiznání je důležité – výzkum nepřináší dramatické odhalení skrytého vědomí ani záhadných procesů, ale spíše ukazuje, že modely si vnitřně vytvářejí relativně srozumitelné reprezentace vstupních dat. To je z hlediska kontroly a bezpečnosti AI zpráva spíše povzbudivá.

Výzkum byl prováděn na modelu Claude Opus 4.6, jehož vydání je plánováno na únor 2026. Anthropic při výzkumu spolupracoval s platformou Neuronpedia, open-source nástrojem určeným pro interakci s velkými jazykovými modely a jejich analýzu. Tato spolupráce naznačuje, že výsledky mají ambici být využitelné širší vědeckou komunitou, nejen interními týmy Anthropicu.

Oblast mechanistic interpretability zažívá v posledních letech výrazný rozmach, a to zejména v kontextu rostoucích obav o bezpečnost AI systémů. Schopnost nahlédnout dovnitř modelu a porozumět jeho vnitřním reprezentacím je považována za klí