CNN 2015 года обошла GPT-6 Astra и Claude Fable 5.1 в диагностике рака кожи

Дерматолог Магнус Линч протестировал на 200 биопсийных образцах из датасета MILK10k старую CNN Inception v3 и фронтирные модели. CNN дала верный диагноз в 62% случаев против 42% у GPT-6 Astra и Claude Fable 5.1. При этом на пороге по умолчанию CNN отправила бы домой 18 из 30 меланом.

• CNN верно назвала диагноз для 125 из 200 поражений, LLM — для 84 и 85
• Второй выбор поднял результат CNN до 173 из 200 против 134 и 138
• CNN нашла 13 из 30 меланом первым выбором, GPT-6 — 8, Claude — 11
• CNN обучили на 68 011 изображениях за ~20 минут на одной H100