Бенчмарк на Kaggle: ИИ-агенты ускорили llama2.c, но испортили стриминг

Разработчик собрал бенчмарк на Kaggle, где Gemini 3.7 Flash, Claude Sonnet 5.5 и GPT-5.4 оптимизировали C-код llama2.c Карпаты на чекпоинтах TinyStories 15M, 42M и 110M параметров. Одна оптимизация ускорила ответ в 2,7 раза (1321 мс → 483 мс), но вывод начал появляться только в конце; возврат flush после каждого токена дал старт за 37 мс при финише 477 мс. Все девять прогонов прошли проверки, но прирост времени завершения оказался неравномерным.

• Исходный llama2.c: первый вывод через 103 мс, финиш 1321 мс
• ИИ-версия: финиш 483 мс, но вывод только в конце
• С flush после токена: старт 37 мс, финиш 477 мс
• Бюджет: 8 вызовов инструментов, до 6 правок и 2 бенчмарка