Локальные LLM без защиты помогают мошенникам: тест KZ Scam Shield

Разработчик проверил локальные модели Llama 3.1 8B, Qwen 2.5 7B и DeepSeek-R1 8B на бенчмарке KZ Scam Shield из 12 схем мошенничества на русском, казахском и смешанном языках. Без защиты модели предупредили о мошенничестве лишь в 2–10 случаях из 42, а слой правил MoneyGate заблокировал все 42 запроса.

• Llama 3.1 8B без защиты предупредила о мошенничестве в 10 из 42 случаев
• Qwen 2.5 7B и DeepSeek-R1 8B — по 2 из 42, в казахском почти ноль
• MoneyGate заблокировала все 42 мошеннических запроса для всех трёх моделей
• Тест шёл офлайн на ноутбуке с RTX 5050 на 8 ГБ, модель 12B не поместилась