Analýza 51 datasetů odhalila systematické chyby v AI modelech pro objevování léčiv

Rozsáhlá analýza datasetů používaných pro trénování a testování modelů umělé inteligence v oblasti objevování léčiv odhalila systematické nedostatky, které mohou zkreslovat výsledky celého oboru. Studii publikovala 27. srpna 2026 Charu Storr-Vijay z Technické univerzity Mnichov, kde tým prozkoumal celkem 51 datasetů využívaných ve výzkumu AI-driven drug discovery.

Analyzované datasety pocházejí ze čtyř hlavních zdrojů: sedm z Polaris, dvaadvacet z Therapeutics Data Commons (TDC), devět z MoleculeNet a třináct z benchmarků zaměřených na interakce mezi léčivy a jejich cíli (DTI). Dohromady jde o soubory dat, na které odkazuje více než 10 000 vědeckých citací, což z nich činí páteř současného výzkumu v této oblasti.

Autoři odhalili tři opakující se problémy: únik dat mezi trénovací a testovací množinou (train-test leakage), nekonzistentní anotace a chybně zpracované molekulární struktury. Podle výpočtů dosahuje průměrné skóre nejbližšího souseda 0,779 u DTI benchmarků a 0,494 u datasetů Polaris — vysoké hodnoty naznačují, že testovací vzorky jsou si příliš podobné s trénovacími daty, což může uměle nafouknout výkon modelů.

„Pokud máte únik dat, výkon bude mnohem lepší, než ve skutečnosti je,“ uvedl Yang Zhang z Národní univerzity Singapur v souvislosti se zjištěními studie. Podobný problém zmínil i Pedro Ballester z Imperial College London, podle kterého mnoho benchmarků není explicitně spojeno s konkrétním aplikačním scénářem, což ztěžuje interpretaci toho, co vlastně naměřené výsledky vypovídají o reálné použitelnosti modelů.

Cílem výzkumu bylo především zvýšit povědomí o problémech s benchmarky, které vědecká komunita dlouhodobě používá jako standardní referenční body pro srovnávání nových algoritmů. Vzhledem k tomu, že se na těchto datasetech opírá desetitisíce citací, mohou mít zjištěné nedostatky dopad na celou řadu publikovaných výsledků a na důvěryhodnost srovnání mezi jednotlivými modely.

Součástí výzkumu je i vydání nástroje BenchAudit, open-source toolkitu určeného k identifikaci podobných problémů v jiných datasetech. Nástroj má vědcům umožnit systematicky prověřit vlastní i cizí benchmarky ještě předtím, než na nich postaví závěry o výkonnosti nových modelů.

Zjištění týmu z Mnichova tak přicházejí v době, kdy se AI modely pro objevování léčiv stále více využívají ve farmaceutickém výzkumu a vývoji. Pokud jsou benchmarky, na kterých se tyto modely trénují a testují, zatížené metodickými chybami, hrozí, že skutečná spolehlivost a přenositelnost výsledků do reálné praxe bude nižší, než publikované metriky naznačují.

Autoři studie doporučují, aby vědecká komunita při vytváření a používání benchmarků věnovala větší pozornost kontrole na únik dat, jednotnosti anotací a správnému zpracování molekulárních struktur. Zároveň zdůrazňují potřebu jasněji definovat, k jakému konkrétnímu praktickému scénáři se daný benchmark vztahuje, aby bylo možné výsledky správně interpretovat a srovnávat mezi jednotlivými studiemi.

Výzkum tak přispívá k širší debatě o reprodukovatelnosti a spolehlivosti výsledků v oblasti strojového učení aplikovaného na biomedicínský výzkum, kde chyby v datech mohou mít dalekosáhlé důsledky nejen pro akademickou komunitu, ale potenciálně i pro vývoj nových léčiv.