Тестируем бигдату end‑to‑end: от события до витрины

Ошибки в проектах с большими данными чаще всего выглядят не как "упавшие" расчеты, а проявляются незаметно: пропали строки за день, появились дубли, сумма стала в тысячи раз больше, витрина "вроде обновилась", но цифры не сходятся. В этот момент начинается расследование: это проблема источника, схемы, партиций, ETL или бизнес-логики витрины?

В докладе разберем практическую стратегию тестирования data pipeline по слоям: SOURCE → RAW → CORE → DATAMART: какие дефекты характерны для каждого этапа, какие проверки помогают быстрее локализовать проблему и почему один большой e2e-тест не закрывает все риски.

Отдельный фокус сделаем на автоматизации расчетных витрин: как выбрать формат тестовых данных, чтобы автотесты не превращались в неподдерживаемые простыни, и как golden datasets помогают проверять бизнес-логику и регрессию без ручных сверок.

Цель — повысить качество витрин и сократить время поиска первопричины, чтобы изменения в данных и логике можно было поддерживать быстрее и прозрачнее.