Что такое рекурсивное самоулучшение ИИ и почему учёные бьют тревогу

Разбор концепции рекурсивного самоулучшения (RSI): ИИ помогает создавать более способный ИИ, который строит следующего. Глава Anthropic Дарио Амодеи в эссе от 12 сентября призвал замедлить рост возможностей моделей; его поддержали Сэм Альтман, Илон Маск и Демис Хассабис. Anthropic заявляет, что полного рекурсивного цикла пока нет.

• Амодеи: RSI без контроля может обогнать способность людей понимать и управлять ИИ
• Альтман, Маск и Хассабис публично согласились с необходимостью сдерживать темпы
• Darwin Gödel Machine поднял успех на бенчмарке кодинга с 20% до 50%
• Амодеи предупредил о риске ботнета с ущербом в сотни миллиардов долларов за 6–12 месяцев