Аудит: ИИ-модели искажают цитаты из студенческих эссе в 1,18% случаев

Проверка 27 462 цитат в отзывах шести ИИ-моделей (LLaMA-3.1 8B, Mistral-7B, Mistral-24B, Qwen2.5-70B, Gemini 2 Flash, LearnLM) на эссе студентов показала, что 1,18% цитат меняют слова автора. Разброс по моделям — от 0,22% у LearnLM до 13,2% у Mistral-24B, так что размер модели не гарантирует точность.

• 1,18% из 27 462 цитат меняют слова студента (95% CI 0,83–1,76%)
• Короткие цитаты в 4–6 слов искажаются в 2,29% против 0,68% у длинных
• LearnLM — 0,22% искажений, Mistral-24B — худший результат 13,2%
• Few-shot промптинг дал 4,32% искажений и меньше всего цитат