Исследование: обучение LLM на мусорном контенте вызывает «гниение мозга»

Исследование Чжэнчжуна Ту и коллег показало, что обучение языковых моделей на кликбейте, дезинформации и хештегах ухудшает их качество — по аналогии с «гниением мозга» у людей. Работа указывает на риск деградации моделей при использовании неотфильтрованных интернет-данных.

• Модели обучали на кликбейте, дезинформации и хештегах
• Исследование провёл Чжэнчжун Ту с коллегами
• Эффект сравнивают с «гниением мозга» у людей