Исследование: «дикий» ИИ-текст ломает законы масштабирования Chinchilla

Учёные из UMass Amherst и Pangram Labs обучили 800 языковых моделей и выяснили, что ценность ИИ-токенов меняет знак: на малых объёмах человеческих данных они помогают, но после насыщения начинают вредить. К августу 2026 года 31% веб-токенов оказались сгенерированы ИИ.

• 31% веб-токенов в августе 2026 года сгенерированы ИИ против 27,5% в июне
• Обучено 800 моделей с разными долями человеческих и ИИ-токенов
• После насыщения человеческими данными ИИ-токены повышают loss
• Выпущен корпус WildAI на 83 млрд токенов с разметкой Human/AI