Claude Sonnet при пересказе таблиц добавляет собственные расчёты
Тест на 24 небольших таблицах показал: Claude Sonnet в восьми случаях добавил в пересказ числа и сравнения, которых не было в данных, — разницы, отношения и суммы. Claude Haiku не допустил ни одной такой ошибки, хотя все вычисления Sonnet были арифметически верны.
- Sonnet добавил собственные расчёты в 8 из 24 таблиц
- Haiku не добавил ни одного числа вне данных таблицы
- Все вычисленные Sonnet цифры были арифметически верны
- Читатель не может отличить расчёт модели от числа из таблицы
Читать дальше
ИИ