Качество данных имеет важное значение для успешного управления конвейером данных и обеспечения принятия решений на их основе. Эти семь рекомендаций по качеству данных могут помочь повысить производительность.
Качество данных имеет важное значение для любого анализа или бизнес-аналитики. Использование лучших практик позволяет организациям решать проблемы, которые становятся еще более критичными и сложными по мере того, как команды создают конвейер анализа данных.
Незначительные проблемы могут усугубиться улучшенной автоматизацией и увеличением агрегирования данных. Командам также может быть сложно разобраться с точной причиной проблем, скрытых в сложных конвейерах данных.
«Данные часто рассматриваются как самый ценный актив организации», — сказал Александр Вурм, аналитик Nucleus Research. «Однако это не всегда верно. Низкое качество данных может испортить бизнес-результаты из-за неточной информации и негативно повлиять на операции, а не улучшить их «.
Предприятия могут настроить методы отслеживания происхождения данных, обеспечения качества данных и защиты от контрпродуктивных данных.
Ключевые показатели качества данных
Командам по качеству данных необходимо рассмотреть множество аспектов. Команды должны начинать с основных характеристик высокого и низкого качества данных, сказал Терри Сейдж, технический директор 1010data, поставщика аналитических данных для финансового, розничного и потребительского рынков. Они должны отражать такие характеристики, как достоверность, точность, полнота, актуальность, единообразие и согласованность.
Команды, которые автоматизируют эти измерения, могут определить, когда их усилия окупаются. Кроме того, эти показатели также могут помочь командам соотнести стоимость вмешательств, инструментов или процессов с их влиянием на качество данных.
Почему качество данных важно для конвейера анализа данных
Качество данных имеет важное значение для анализа данных и data science pipeline. Данные низкого качества могут привести к неправильным решениям, таким как трата денег не на те вещи, сказал Сейдж. Неправильные или недействительные данные могут повлиять на операции, такие как ложное обнаружение инцидента кибербезопасности.
Высокое качество данных измеряется тем, насколько хорошо они были дедуплицированы, исправлены и валидированы, и содержат ли они правильные ключевые наблюдения. Высококачественные данные приводят к лучшим решениям и результатам, основанным на соответствии их назначению.
Напротив, неверные данные могут снизить доверие клиентов. Исправление данных, содержащих ошибки, также отнимает драгоценное время и ресурсы.
«Предприятие с некачественными данными может принимать необдуманные бизнес-решения, которые могут привести к потере возможностей продаж или клиентов», — сказал Радхакришнан Раджагопалан, глобальный руководитель отдела технологических услуг консалтинговой компании Mindtree.
Как конвейер может повлиять на качество данных
Конвейер анализа данных влияет на качество данных различными способами. Одна из самых больших проблем, с которой сталкивается Суджой Пол, вице-президент по разработке данных в Avalara, платформе автоматизации налогообложения, — это качество данных, которые они агрегируют.
По мере расширения конвейера агрегирования данных качество данных усложняется из-за двух факторов.
Одной из проблем является потенциальная потеря или дублирование данных во время передачи из исходных систем в озера данных и хранилища данных. Например, проблемы с памятью в облачных технологиях передачи данных и механизмах постановки данных в очередь часто приводят к потере небольших пакетов транзакций.
Вторая проблема заключается в непредсказуемых изменениях в системах-источниках, приводящих к значительным проблемам с качеством данных в системах-получателях. Многие потенциальные проблемы приводят к непредсказуемости данных из исходных систем, но изменения в моделях данных, включая небольшие изменения в типах данных, могут вызвать значительные отклонения в системах назначения.
Вот семь рекомендаций по улучшению качества данных для повышения производительности:
1. Создайте точную карту
Команды должны составлять точную, удобоваримую картину активов данных и конвейеров, их показателей качества и подробного анализа цепочки данных, сказал Дэнни Сэндвелл, директор по маркетингу продуктов Quest Software, поставщика программного обеспечения для управления ИТ.
На этой карте указано, откуда поступают данные и как они могут измениться при передаче. Многие команды используют преобразование данных для оптимизации интеграции. Однако для многих продвинутых методов аналитики требуются исходные данные для обеспечения достаточной точности и детализации. Современные каталоги данных, которые собирают метаданные, анализируют происхождение данных и выполняют анализ воздействия, могут помочь автоматизировать этот процесс.
2. Обеспечьте правильное управление и контроль
Меры по управлению данными имеют решающее значение, сказал Раджагопалан. Эффективное управление начинается с обеспечения того, чтобы организация могла использовать различные источники данных и форматы в режиме реального времени, сохраняя качество без дублирования.
Также важно иметь стратегию хранения метаданных, которая позволяет пользователям легко находить наборы данных. Система управления должна также защищать любые персональные данные, позволяющие установить их личность, чтобы оставаться в соответствии с законами о конфиденциальности.
По словам Раджагопалана, проблемы управления достигают апогея во многих организациях, которые заполнили озера данных, не предусмотрев правильную структуру мер управления. Это привело к снижению качества данных и росту интереса к хранилищам данных, которые используют некоторые из лучших функций хранилищ данных, таких как формализованный контроль управления. Они экономически эффективны и открыты, такие как озеро данных.
«Компаниям, которые в настоящее время используют озера данных, следует определить, не ставит ли это под угрозу качество их данных и является ли хранилище данных лучшим подходом», — сказал он.
3. Автоматизируйте управление данными
Подходы к управлению данными терпят неудачу, когда они полагаются на слишком много ручных процессов для измерения запасов и исправления данных, сказал Брайан Платц, генеральный директор и соучредитель Fluree, платформы базы данных на блокчейне. Эти ручные подходы не могут работать в надлежащем масштабе и с увеличивающимися объемами данных.
Организациям следует автоматизировать процесс управления данными с помощью машинного обучения, чтобы ускорить аналитический конвейер, одновременно снижая риск ошибок. Предприятия могут значительно сократить ИТ-издержки, связанные с преобразованием управления данными, автоматизируя этот процесс управления. Это может способствовать повышению качества данных в масштабе.
4. Установите соглашения об уровне обслуживания с поставщиками данных
Полезно заключать соглашения об уровне обслуживания (SLA) с поставщиками данных, сказал Тобиас Пол, генеральный директор CELUS, платформы автоматизации электронного проектирования. Они должны включать четкие определения качества данных, источников и форматов. Команда Пола создала хранителей данных и структуру управления данными, чтобы гарантировать, что эксперты в предметной области интерпретируют вводимые данные перед применением преобразований и загрузкой данных в свои системы.
«Для обеспечения качества входящих данных необходимо настроить мониторинг и оповещения», — сказал он.
5. Создайте культуру, основанную на данных
Культура, основанная на данных, в которой особое внимание уделяется наблюдению, обсуждению и исправлению ошибок в масштабах всего предприятия, имеет решающее значение.
«Это устраняет разрозненность и демократизирует данные для разных отделов и бизнес-вариантов использования», — сказал Джефф Браун, руководитель группы проектов бизнес-аналитики в Syntax, поставщике управляемых услуг.
6. Отслеживайте происхождение данных
Современные аналитические конвейеры сложны, с различными источниками данных, преобразованиями и технологиями. При возникновении проблемы с качеством данных организации часто тратят многочисленные ИТ-ресурсы на выявление причины, прежде чем ее влияние распространится. В результате многие организации внедряют линейные решения для быстрого выявления основной причины и последующего воздействия низкого качества данных.
Организации все больше осознают важность компоновки данных и каталогизации для обеспечения качества данных, сказал Вурм. В то же время организации обладают наибольшей гибкостью перед внедрением решения, поэтому расставьте приоритеты в дорожной карте цепочки данных, чтобы лучше решать будущие проблемы на ранних этапах процесса.
7. Установите управляющих данными
Алгоритмы не могут устранить все проблемы с качеством данных. По словам Кристофа Антуана, вице-президента Talend по разработке глобальных решений, управляющие данными могут внимательно изучить данные и исправить любые обнаруженные ошибки. Это займет всего несколько минут и значительно повысит качество ваших данных и соответствующую аналитику.
Следует назначить ответственного за обработку данных на уровне департамента, но владеть данными важно для всего бизнеса, а не только для IT. Проблема в том, что предприятия не могут достичь этого с помощью одних технологий. Культура, основанная на данных, требует участия и поддержки на всех уровнях бизнеса.