NeuronDump: открытый инструмент для анализа и сокращения локальных LLM

Разработчик выпустил NeuronDump — утилиту на Rust (лицензия MIT) с CLI и локальным веб-интерфейсом для разбора GGUF-файлов. Она показывает слои, головы внимания, словарь и шаблон чата, а также позволяет вырезать части модели и проверять, загрузится ли результат в llama.cpp.

• Инструмент читает GGUF напрямую без привязки к конкретной модели
• Режим sweep ранжирует слои по ущербу и сохраняет урезанный GGUF с Modelfile для Ollama
• С флагом trace сравнивает урезанную модель с оригиналом по KL-дивергенции и перплексии
• Пока поддержаны семейства llama, qwen2/3, gemma, phi3 и bert; инференс только на CPU