OpenAI масштабировала PostgreSQL до 800 млн пользователей ChatGPT

OpenAI рассказала, как обслуживает 800 млн пользователей ChatGPT на одной первичной базе PostgreSQL без шардирования. Нагрузка на БД выросла более чем в 10 раз за год: чтение ушло на ~50 реплик, часть записи — в Azure Cosmos DB, подключения кэширует PgBouncer.

• Чтение вынесено на ~50 реплик, запись остаётся на одном праймари
• PgBouncer сократил время подключения с 50 до 5 мс
• За год произошёл один SEV-0 — при запуске генерации изображений
• p99 в единицы десятков миллисекунд при миллионах запросов в секунду