16-летний разработчик обучил MoE-модель Ganymede на 780 млрд параметров

Шестнадцатилетний Афонсу из лаборатории Merkium обучил языковую модель Ganymede 1.1: 780 млрд параметров при ~20 млрд активных на токен, обучение на ~5 трлн токенов и 450+ GPU H200 в трёх странах. Модель с контекстом 1 млн токенов доступна бесплатно в чате и через OpenAI-совместимый API с лимитом 30 запросов в минуту.

• MoE-архитектура: 780 млрд параметров, около 20 млрд активных на токен
• Обучение на ~5 трлн токенов веб-текста и открытого кода
• 450+ GPU H200 в дата-центрах Франции, Португалии и Нидерландов
• Контекст 1 млн токенов, бесплатный доступ и лимит 30 запросов в минуту