Jeff: локальная zero-shot классификация за 22 мс на модели 0.8B
Независимый проект Jeff на GitHub выполняет zero-shot классификацию с помощью модели Qwen3.5-0.8B за 22 мс на RTX PRO 6000 и 28 мс на Apple M4 Max. После файнтюна средний балл вырос с 45,3 до 79,1, а в Financial PhraseBank модель набрала 96,4 против 77,0 у более крупной Jev.
- Jeff-Qwen3.5-0.8B отвечает за 22 мс на RTX PRO 6000 и 28 мс на M4 Max
- Файнтюн поднял средний балл с 45,3 до 79,1 на пяти бенчмарках
- В Financial PhraseBank Jeff набрал 96,4 против 77,0 у Jev
- Обучение идёт локально: 2 часа для 0.8B и 3,5 часа для 2B на одной GPU
Читать дальше
Гаджеты