Ищем иголку в стоге сена. Тестирование Больших данных

Что если бы вам пришлось иметь дело с хранилищами данных, которые насчитывают триллионы записей? Если сканирование одной таблицы целиком занимает несколько дней, а источников новых данных становится всё больше, и каждый день они приносят свыше трёх миллиардов новых записей. Как удостовериться что делая по несколько релизов в день, данные всё ещё не теряют смысл? Как понять корректны ли они? Точно так же, как и марсоход имея в своём расположении ограниченные ресурсы исследует целую планету! Мы сумели найти серию методов, которые не раз доказали свою эффективность. В своём докладе Я расскажу как мы обеспечиваем согласованность данных и учимся понимать их.