Скрытая дата в системных промптах искажает бенчмарки LLM

Исследование Германии, Мексики и США показало: автоматическая подстановка текущей даты в системный промпт искажает результаты оценки LLM. На 9 моделях и 6 датасетах разброс достигал 6% в тестах с выбором ответа, 14% в математике и 7% в генерации кода.

• Дата в промпте меняет точность до 6% в multiple-choice и 14% в математике
• GPT-5.1 колебался до 4% за 7 дней тестов при одинаковых настройках
• Chain-of-thought усиливает чувствительность к дате, few-shot снижает разброс лишь до 2,27%
• Влияние даты сопоставимо с эффектом переформулировки промпта (0,78%)