В клиентских данных важно хранить историю изменений: смену телефона, отзыв согласия на рассылку т.д. Для этого используют SCD-2 — подход, позволяющий восстановить состояние записи на любую дату. В новой статье на Хабре разбираем построение SCD-2-витрины на Trino, Iceberg и Airflow: • разделение ETL-процесса на 8 SQL-шагов; • применение hashdiff_key, MERGE и IS DISTINCT FROM; • ограничения источника, которые важно учесть; • автоматизация сборки через собственный Airflow-оператор. Будет полезно тем, кто работает с витринами, миграциями хранилищ и регулярными загрузками данных. 🔗 ссылка на статью