Auto CDF в Databricks переносит нагрузку CDC с записи на чтение

Databricks 1 сентября 2026 года сделала общедоступной Auto CDF: изменения вычисляются при чтении по метаданным row tracking, а не пишутся при каждом коммите. Тест на 10 млн строк показал рост объёма записи на 8% и чтение изменений одного коммита за 4,73 с против 0,21 с у legacy CDF.

• Auto CDF ускоряет MERGE и UPDATE примерно на 15% по данным Databricks
• Row tracking пишет на 8% больше данных: 547,6 МБ против 505,8 МБ на MERGE
• Чтение изменений коммита: 4,73 с у Auto CDF против 0,21 с у legacy CDF
• Spark 4.2 добавил SQL-клаузу CHANGES, но на Delta 4.4.1 она не работает без коннектора