Исследователи нашли изъян в тестах ИИ на утечку будущих данных

Учёные Северо-Западного университета показали, что стандартный метод проверки ИИ-моделей на «утечку будущего» ошибочно обвиняет модели: четыре из пяти флагманских моделей провалили тест, который не могли провалить. Все вопросы были датированы после окончания обучения моделей, поэтому ответы нельзя было запомнить.

• 4 из 5 флагманских ИИ-моделей ложно провалили тест на утечку данных
• Все вопросы теста были датированы после окончания обучения моделей
• Учёные математически доказали несостоятельность стандартного метода проверки