Тест: 10 из 12 новых LLM помнят итоги отчётностей по названию компании и дате

Разработчик проверил 12 актуальных моделей через OpenRouter и открытую von на 3708 отчётах 250 компаний S&P 500. GPT-6 Astra угадывала отчёт, побивший прогноз, в 91% случаев, тогда как Jev 1.13 и DeepSeek V4 Pro показали AUC около 0,504 — на уровне случайности.

• GPT-6 Astra: within-company AUC 0,904, Gemini 3.8 Flash — 0,799, Claude Opus 5.5 — 0,766
• Jev 1.13 и DeepSeek V4 Pro показали 0,504 — памяти об отчётах не обнаружено
• Тест охватил 3708 отчётов 250 компаний S&P 500 с января 2023 по август 2026
• Стоимость всех запросов: $55 за первые восемь моделей и $73 за остальные четыре