Открываем код YTsaurus Flow: как обрабатывать более 100 ГБ/с в реальном времени без потерь и дублей Держать относительно низкую end-to-end-задержку в штатном режиме не так сложно. Гораздо веселее становится, когда нужно сохранить её при сбоях, не потерять и не задублировать сообщения, управлять долгосрочным состоянием и продолжать работу даже при выпадении целого дата-центра. Для таких задач в Яндексе сделали YTsaurus Flow — движок потоковой обработки с состоянием и exactly-once по умолчанию. Теперь его исходный код открыт под Apache 2.0. Узнаем, как устроены пайплайны Flow, где проходят границы его гарантий и за счёт каких архитектурных решений всё это работает на реальной нагрузке.