Взломанную PS5 превратили в локальный ИИ-сервер для модели на 27 млрд параметров

Энтузиаст запустил на взломанной PS5 модель Qwen3.8-27B через порт llama.cpp на Vulkan/RADV, подняв доступную память с 6 до 11,4 ГБ. Из-за 16 ГБ GDDR6 пришлось использовать 2-битную квантизацию (6,8 ГБ), скорость составила 20,9 ток/с, а малые модели Gemma 4 E4B и Llama 3.2 3B выдают 61 и 124 ток/с.

• Порт llama.cpp на Vulkan/RADV увеличил доступную память PS5 с 6 до 11,4 ГБ
• Qwen3.8-27B в 2-битной квантизации занимает 6,8 ГБ и выдаёт 20,9 ток/с
• Gemma 4 E4B — 61 ток/с, Llama 3.2 3B — 124 ток/с при 86 Вт и 54°C
• Для запуска нужен джейлбрейк: потеря гарантии и риск бана в онлайн-играх