Darwin-27B-ZTC-v5 возглавил японскую версию рейтинга S1MB без обучения на японском
В открытый рейтинг S1MB добавили японскую версию (japanese-v1, 27 бенчмарков). Модель Darwin-27B-ZTC-v5 заняла первое место с Borda 84.57, обойдя Perplexity (80.86) на 3.71 балла, и одновременно лидирует в английской версии (90.80). Модель не обучалась на японских данных — результат достигнут за счёт переноса навыков оценки.
- Borda 84.57 в японской версии, на 3.71 балла выше Perplexity (80.86)
- Первое место в 10 из 27 бенчмарков, в 16 — в топ-3
- JMMLU 88.4 — совместный лучший результат, JaNLI 83.7
- Обучение только на английском, японский результат — перенос навыков
Читать дальше
ИИ