KillSwitch-Bench: 20 кодинг-агентов прошли тест на «нечитаемом» языке

Опубликован лидерборд KillSwitch-Bench, где 20 комбинаций модели и харнесса писали код на стековом языке KillSwitch, специально спроектированном неудобным для LLM. Лучший результат — 66,8% у Claude Opus 5, два участника (GPT-5.6 Luna и Qwen3.8 27B) набрали 0,0% при $0,00 за задачу.

• Лучший результат — Claude Opus 5 с 66,8%, за ним GPT-6.1 Sol с 59,2%
• GPT-5.6 Luna и Qwen3.8 27B набрали 0,0% при нулевой стоимости за задачу
• Claude Sonnet 5.5 в 13 раз быстрее и в 17 раз дешевле Sonnet 5, но вдвое слабее
• Спецификация AI_SPEC.md занимает около 1,3 млн токенов и не влезает в контекст