AdversaryGate: гейт для проверки патчей ИИ-агентов с вердиктом INCONCLUSIVE
Разработчик выпустил AdversaryGate — инструмент на Python, который проверяет патчи кодинг-агентов и выносит один из трёх вердиктов: MERGE, BLOCK или INCONCLUSIVE. Он прогоняет тесты базовой версии против нового кода, считает diff-покрытие и мутационное тестирование, а неизмеренные проверки не засчитывает как успех. С версии 2.8 доступен MCP-сервер, есть GitHub Action и лицензия MIT.
- Три вердикта: MERGE (0), BLOCK (1), INCONCLUSIVE (2) — неизмеренное не считается успехом
- Тесты берутся из базовой версии, поэтому переписанные агентом проверки не помогают
- Мутационное покрытие считается по нижней границе 80% интервала Уилсона, а не по сырой доле
- С версии 2.8 есть MCP-сервер, политика и базовый ref задаются на стороне сервера
Читать дальше
Безопасность