Препринт: детект-рейт без FPR ставит худшие LLM-ревьюеры кода на первое место

Автор протестировал 16 открытых LLM-ревьюеров кода на 180 Python-сниппетах с девятью классами криптографических ошибок, по три прогона на сниппет (8640 вызовов). По одному TPR модели codellama 7B и qwen2.5-coder 0.5B флагуют почти всё (539–540 из 540), а лучшей по сбалансированной точности стала gpt-oss 20B — 0,952 при TPR 93,7% и FPR 3,3%.

• 16 открытых моделей от 0,5B до 120B, 8640 оценённых вызовов
• codellama 7B и qwen2.5-coder 0.5B пометили 539–540 из 540 сниппетов
• gpt-oss 20B: balanced accuracy 0,952, TPR 93,7%, FPR 3,3%
• Корреляция размера и точности — Spearman 0,76, но 120B уступила 20B