Byteification научила LLM считать отдельные буквы в тексте

Nature сообщила о технике byteification, которая дообучает существующие большие языковые модели оценивать текст на уровне отдельных букв — задача, с которой большинство моделей не справляется, например подсчёт букв «i» в слове «artificial intelligence». Метод не требует переобучения с нуля и устраняет известную слепую зону токенизации.

• Метод дообучает готовые LLM, а не создаёт новую модель
• Модели ошибаются в задачах уровня отдельных букв из-за токенизации
• Пока неясно, сохранится ли выигрыш на широких бенчмарках