Профилирование данных и уведомления в DQS

Профилирование данных в службах качества данных (DQS) — это процесс анализа данных в существующем источнике данных и отображение статистики о данных в действиях DQS. Он предоставляет автоматические измерения качества данных. Профилирование DQS интегрировано в проекты управления знаниями DQS и качества данных. Она динамическая и настраиваемая. Профилирование имеет две основные цели: во-первых, чтобы помочь вам в процессах качества данных и поддержать ваши решения, а во-вторых, оценить эффективность процессов. Процесс профилирования DQS имеет следующие преимущества:

  • Профилирование обеспечивает представление о качестве исходных данных и помогает выявлять проблемы с качеством данных.

  • Профилирование оценивает эффективность процессов качества данных, направляющих вас в обнаружение знаний, очистку данных, политику сопоставления и работу сопоставления.

  • Профилирование предоставляет вам наиболее релевантную информацию в самое подходящее время.

  • Процесс профилирования создает уведомления, которые подчеркивают важную статистику или события, которые могут гарантировать действие. Во многих случаях уведомления DQS указывают условие и рекомендуют действия, которые можно предпринять для устранения этого условия.

Профилирование позволяет использовать службы качества данных не только для обнаружения знаний, очистки и сопоставления, но и в качестве средства анализа. Вы можете создать одну базу знаний для анализа и запустить обнаружение знаний с помощью этой базы знаний, чтобы определить, соответствует ли база знаний вашим потребностям обнаружения, очистки и соответствия требованиям.

Как работает профилирование

Профилирование не измеряет качество базы знаний. Он измеряет качество исходных данных. Профилирование предоставляет статистику, которая указывает на влияние конкретной операции, выполняемой при управлении знаниями или проекте качества данных на исходных данных. Профилирование всегда находится в контексте конкретного действия, выполняемого вами. На экране можно щелкнуть вкладку профилирования, чтобы отобразить данные профилирования, не покидая этап выполняемого действия. Таблица профилирования заполняется в режиме реального времени по мере выполнения процесса, что позволяет оценивать задачи качества данных по мере их выполнения. Вы можете определить, лучше ли стали исходные данные после очистки или удаления дублей, и насколько.

Все числа профилирования относятся к числу появлений значения, и во многих случаях процент от общего числа, за исключением метрик уникальности. Метрики уникальности относятся к абсолютному числу значений независимо от количества внешних значений.

Профилирование является частью структуры, основанной на знаниях DQS. Он предоставляет информацию о базе знаний, сопоставлении или процессе очистки данных на основе сопоставления полей источника данных и доменов базы знаний. Профилирование выполняется только после завершения сопоставления; никакое профилирование не выполняется во время этапа сопоставления. Профилирование всегда связано с действием. Процесс профилирования выполняется на данных, сопоставленных с доменами, а не на данных в доменах. Профилирование интегрировано в следующие действия.

  • Шаги по обнаружению и управлению значениями домена действия обнаружения знаний

  • Этапы Очистка и Управление и просмотр результатов в рамках деятельности по очистке

  • Шаги политики сопоставления и результатов сопоставления в деятельности политики сопоставления

  • Этапы сопоставления и экспорта в рамках деятельности по сопоставлению

DQS не предоставляет статистику профилирования для действия управления доменами.

Профилирование данных по действиям

Профилирование DQS использует стандартные измерения качества данных, чтобы представить качество данных: полноту (степень, в которой присутствуют данные), точность (степень, в которой данные могут использоваться для его предполагаемого использования) и уникальность (степень, в которой различные значения представляют разные сущности). По умолчанию значения NULL и пустые значения считаются отсутствующими или ниже процента завершения; однако можно также определить другие значения, эквивалентные NULL, в этом случае они также будут считаться отсутствующими.

Профилирование предоставляет статистику, необходимую для оценки процессов, но необходимо интерпретировать статистику. Разбирайтесь в том, что вам сообщает профилирование, изучая статистику столбец за столбцом.

Действия DQS имеют различные наборы статистики профилирования, как показано ниже.

  • Только действие очистки имеет статистику профилирования для точности (в процентах по домену). Точность влияет на допустимость, согласованность, синтаксические ошибки и правила домена.

  • Только операция очистки имеет статистику профилирования для правильных, исправленных и предложенных показателей в источнике, а также для исправленных и предложенных значений по домену (в числах и процентах).

  • Мероприятия по очистке и обнаружению знаний имеют статистику профилирования для валидности (очистка по записям, обнаружение знаний по записям и доменам). Действия политики сопоставления и действия по сопоставлению не имеют статистики по действительности.

  • Действие очистки не содержит статистику профилирования для уникальных характеристик. Операции обнаружения данных, политики сопоставления и сопоставление имеют статистику профилирования уникальности данных в количестве и процентах для источников и по доменам.

Дополнительные сведения о конкретной статистике профилирования, связанной с действием, см. в разделах профилирования в следующих разделах:

Профилирование данных в мониторинге активности

Сведения о профилировании для таких действий, как обнаружение знаний, сопоставление, политика сопоставления и очистка, доступны не только на страницах этих действий в клиенте для обеспечения качества данных, но и в мониторинге действий. Мониторинг действий предоставляет общие сведения о текущих и прошлых действиях. Помимо свойств и связанных вычислительных процессов активностей, можно просмотреть сведения о профилировании, созданные для каждой активности в одном месте. Вы выбираете действие в таблице действий, чтобы отобразить результаты профилирования в таблице ниже. Вы также можете экспортировать результаты профилирования. Дополнительные сведения см. в разделе "Администрирование DQS".

Уведомления

Помимо сбора и отображения важных статистических данных и метрик с помощью профилирования DQS будет создавать уведомления (если они включены), чтобы указать, когда может потребоваться выполнить действие на основе отображаемой статистики профилирования. DQS использует уведомления, чтобы подчеркнуть важные факты о источнике данных и показать эффективность текущего действия относительно цели, для которой она была выполнена. Уведомления предоставляют советы и рекомендации, которые указывают на условие и рекомендуют улучшить обнаружение знаний, очистку данных или действие сопоставления данных.

Уведомление DQS используется для устранения проблемы, которая может заинтересовать вас или устранить потенциальную проблему. Будете ли вы действовать по уведомлению, зависит от того, насколько оно соответствует вашим целям. Например, предположим, что DQS отправляет уведомление, когда очистка данных не создает исправленных значений или предлагаемых значений, а полнота и точность — 100%. Это уведомление может указывать, что действие, возможно, не требуется выполнять. Независимо от того, решите ли вы запустить действие, решение остается за вами.

Уведомление указывается подсказкой средства с восклицательным знаком на вкладке профилирования . Статистика, связанная с уведомлением, окрашена красным цветом, чтобы указать статистическое обоснование уведомления.

Вы можете включить (по умолчанию) или отключить уведомления на вкладке "Общие параметры " раздела "Администрирование " домашней страницы клиента качества данных. Если уведомление отключено, подсказки инструментов не отображаются, а статистика не окрашена в красный цвет. Нет значительного улучшения производительности путем отключения уведомлений. Профилирование по-прежнему будет работать при отключении уведомлений.

Смотрите следующую информацию об условиях, связанных с уведомлениями для активности:

Описание задачи Тема
Описывает включение или отключение уведомлений в DQS. Включение или отключение уведомлений профилирования в DQS
  • Last updated on