ggml 0.28.0 добавила fused-операцию масок sparse-attention
Релиз ggml v0.28.0 вводит операцию GGML_OP_TOP_K_MASK, объединяющую top-k отбор и применение маски sparse-attention в одном ядре для CPU, CUDA и Metal. Также добавлены API интроспекции точности ggml_prec_get_acc() и ggml_prec_get_src() и sentinel-индекс -1 для пропуска слотов в MUL_MAT_ID и ADD_ID.
- GGML_OP_TOP_K_MASK объединяет top-k и маску в одном ядре на CPU, CUDA и Metal
- Индекс -1 в MUL_MAT_ID и ADD_ID явно пропускает вычисление слота
- API ggml_prec_get_acc() и ggml_prec_get_src() показывают точность узлов
- Операции scale и sum теперь принимают несмежные тензоры
Читать дальше
Софт