Физики заявили о формуле, предсказывающей опасное поведение ИИ

Исследователи из Университета Джорджа Вашингтона предложили математическую формулу, предсказывающую «точки перелома», когда чат-бот переходит от полезных ответов к вредным. Работа опубликована в журнале Patterns; формула проверена на GPT-2, Pythia и OPT, но не на современных моделях.

• Формула оценивает, когда ИИ переходит от полезных ответов к вредным
• Порядок вопросов меняет ответы: вопрос о вакцинах первым давал хорошие ответы, последним — тревожные
• Тесты шли на GPT-2, Pythia и OPT, а не на актуальных ассистентах
• Критики сравнили метод с объяснением машины по одной свече зажигания