Имплант мозга впервые декодирует речь и жесты одновременно

Учёные из UCSF создали имплант BCI на базе ИИ, который одновременно распознаёт попытки речи и жестов у парализованных людей, превращая их в текст и движения цифрового аватара. Система протестирована на двух участниках с ограниченным словарём и пока не идеально точна.

• Имплант — высокоплотная электрокортикографическая решётка на поверхности коры
• Модель, обученная на речи и жестах вместе, превзошла модели на одном типе данных
• Система распознала 43–45 движений, кроме движений левой руки и ноги
• Декодированные сигналы управляли аватаром в Unreal Engine, речь выводилась текстом