Профилирование BERT: нормализация съедает 88% времени токенизации

Саймон Брандейс в статье на Hugging Face показал, что в bert-base-uncased нормализация текста занимает 88% времени кодирования, а сам WordPiece — лишь 8%. Предложенная оптимизация ускоряет кодирование BERT до 5,7 раза, суммарно примерно в 50 раз относительно tokenizers 0.23.

• Нормализация — 88% времени кодирования, WordPiece — 8%
• Проверка 1567 символов для удаления диакритики — узкое место
• Векторная проверка 16 ASCII-байтов ускоряет обработку
• Итоговое ускорение около 50x против tokenizers 0.23