Качество данных

В мире компьютерных технологий вы можете встретить данные повсеместно. Это могут быть хорошо всем знакомые записи баз данных, реляционных и NoSQL; содержимое потоков данных; топики в очередях и файлы в локальных и распределенных файловых системах. Данные подготавливаются как людьми, так и программами. Потребителями данных также могут быть как люди, так и программы. На основе данных делаются прогнозы, планируются какие-то действия.

А теперь представьте, что где-то в самом начале пути обработки данных, их часть была испорчена, неполна или несогласованна. Даже небольшая ошибка может в итоге, как снежный ком, вырасти к концу преобразования данных, прошедших через несколько аналитических программ и привести к абсолютно неверным выводам.

Давайте рассмотрим методы, которые помогут нам быть уверенными в данных - как попадающих в нашу систему, так и произведенными ей.