OpenAI выпустила GPT-5.6 Sol с задержкой ответа менее 100 мс
OpenAI представила модель GPT-5.6 Sol с временем до первого токена менее 100 мс и пропускной способностью 180 токенов/с. Цена — $4 за 1 млн входных и $20 за 1 млн выходных токенов. Архитектура FlashDecode держит тёплый кэш начальных слоёв модели с обновлением раз в 60 секунд.
- TTFT менее 100 мс против 210 мс у Claude 3.7 Sonnet и 350 мс у Gemini 3.7 Flash
- Пропускная способность 180 токенов/с, чтение из кэша — $0,40 за 1 млн токенов
- Архитектура FlashDecode обновляет тёплый кэш начальных слоёв каждые 60 секунд
- Цены: $4 за 1 млн входных и $20 за 1 млн выходных токенов
Читать дальше
ИИ