Pinterest придумала водяные знаки event time для финализации петабайтных партиций

Pinterest внедрила механизм финализации партиций по event time в фреймворке загрузки данных: Flink измеряет прогресс событийного времени, а метаданные Iceberg публикуют невозвратный watermark готовности. Это решает проблему поздних CDC-записей при потоковой загрузке петабайтных объёмов из MySQL, TiDB и KVStore.

• Watermark хранится как свойство таблицы Iceberg, отдельный сервис координации не нужен
• По умолчанию берётся минимум event time по последним коммитам с округлением до часа
• Онлайн-изменения обычно доступны за 15 минут — час, платформа обслуживает тысячи пайплайнов
• Процентильные политики позволяют обменять полноту данных на свежесть