Cerebras описала архитектуру Weight-Streaming для моделей на триллион параметров

Cerebras объяснила, как Wafer-Scale Engine 3 обходит «стену памяти» при обучении моделей на триллион параметров: веса хранятся во внешнем DRAM-пуле ёмкостью до петабайт и потоково подаются на пластину по слоям. Это избавляет от накладных расходов на межузловые соединения в GPU-кластерах и упрощает стек ПО.

• Веса модели хранятся во внешней DRAM-памяти до петабайтного масштаба
• WSE-3 содержит порядка 800–900 тыс. ИИ-ядер на одной кремниевой пластине
• Градиенты стримятся обратно во внешнюю память для обновления весов
• Модели на PyTorch и TensorFlow запускаются с минимальными правками кода