Обнаружение аномалий

На этой странице описывается, что такое обнаружение аномалий, то, что он отслеживает, и как его использовать.

Что такое обнаружение аномалий?

Обнаружение аномалий позволяет отслеживать качество данных во всех таблицах схемы. Анализируя исторические шаблоны, Azure Databricks автоматически оценивает полноту и свежесть каждой таблицы. Результаты доступны в обозревателе каталогов.

Требования

• Рабочая область с включенной поддержкой каталога Unity.
• Бессерверные вычисления должны быть доступны в рабочей области (включена по умолчанию в рабочих областях с каталогом Unity).
• Чтобы включить обнаружение аномалий в схеме, необходимо иметь права MANAGE SCHEMA или MANAGE CATALOG в схеме каталога.
• Чтобы просмотреть состояние индикатора работоспособности таблиц, вам потребуются SELECT или ОБЗОР привилегии.

Как работает обнаружение аномалий?

Azure Databricks создает фоновое задание, которое отслеживает таблицы на актуальность и полноту.

Свежесть означает то, как недавно была обновлена таблица. Мониторинг качества данных анализирует журнал фиксаций в таблице и создает модель для каждой таблицы для прогнозирования времени следующей фиксации. Если фиксация необъяснимо задерживается, таблица помечается как устаревшая.

Completeness означает количество строк, которые ожидается записать в таблицу за последние 24 часа. Мониторинг качества данных анализирует количество исторических строк и на основе этих данных прогнозирует диапазон ожидаемых строк. Если количество строк, зафиксированных за последние 24 часа, меньше нижней границы этого диапазона, таблица отмечается как неполная.

Azure Databricks использует интеллектуальное сканирование для автоматизации частот сканирования таблиц. Интеллектуальное сканирование определяет таблицы с высоким влиянием, определяемым популярностью и последующим использованием, и снижает частоту для менее важных таблиц. Чтобы вручную исключить таблицы, используйте API создания монитора или обновления API монитора и укажите исключенные таблицы в параметре excluded_table_full_names . Дополнительные сведения см. в документации по API.

Обнаружение аномалий не изменяет какие-либо таблицы, которые он отслеживает, и не добавляет накладные расходы на любые задания, заполняющие эти таблицы.

Процент null для полноты данных

Процент NULL добавляет дополнительные сведения о качестве к полноте. Процент NULL — это процент строк, записанных в таблицу за последние 24 часа, которые должны иметь значения NULL для заданного столбца. Мониторинг качества данных анализирует историческую тенденцию для каждого столбца и на основе этих данных прогнозирует диапазон. Если процент null для столбца за последние 24 часа превышает верхнюю границу этого диапазона, таблица помечается как неполная.

Включение обнаружения аномалий в схеме

Чтобы включить обнаружение аномалий в схеме, перейдите к схеме в каталоге Unity.

1. На странице схемы щелкните вкладку Подробности.

   

2. Нажмите кнопку "Включить". В диалоговом окне "Мониторинг качества данных " убедитесь, что обнаружение аномалий включено, а затем нажмите кнопку "Сохранить".

3. Запущено сканирование. Databricks автоматически сканирует каждую таблицу с той же частотой, с которой обновляются данные, предоставляя актуальные сведения без необходимости ручной настройки для каждой таблицы. Для схем, включенных до 24 сентября 2025 года, Databricks запустил монитор по историческим данным ("backtesting") для первой проверки, чтобы проверить качество таблиц, как если бы мониторинг качества данных был включен в схеме два недели назад.

4. После завершения сканирования можно просмотреть результаты обнаружения аномалий для таблиц следующими способами:

• Индикаторы работоспособности отображаются в обозревателе каталогов для каждой таблицы в схеме. См. показатели здоровья.
• На вкладке "Сведения" схемы с включенным мониторингом качества данных щелкните "Просмотреть результаты" и просмотрите результаты мониторинга качества данных. См. результаты мониторинга качества данных в пользовательском интерфейсе.
• Обнаруженные проблемы с качеством регистрируются в выходной системной таблице. Просмотрите результаты обнаружения аномалий, зарегистрированных в журнале.

Отключение обнаружения аномалий

Чтобы отключить обнаружение аномалий:

1. Щелкните значок карандаша.

   

2. В диалоговом окне "Мониторинг качества данных" щелкните переключатель.

   Это важно

   При отключении обнаружения аномалий задание обнаружения аномалий и все таблицы обнаружения аномалий и сведения удаляются. Это действие не может быть отменено.

   

3. Нажмите кнопку Сохранить.

Индикаторы здоровья

После включения обнаружения аномалий в схеме индикаторы работоспособности отображаются на страницах обзора схемы и таблицы в обозревателе каталогов. Индикатор работоспособности отображает сводку о работоспособности таблицы для потребителей данных и бизнес-пользователей, не требуя перехода к пользовательскому интерфейсу мониторинга качества данных. Пользователям требуется разрешение SELECT или BROWSE для просмотра статуса индикатора состояния системы.

В следующей таблице описывается состояние каждого индикатора работоспособности:

Просмотр результатов мониторинга качества данных в пользовательском интерфейсе

После включения мониторинга качества данных на схеме можно открыть страницу результатов, щелкнув "Просмотреть результаты". Вы также можете получить доступ к результатам из всех схем, в которых включен мониторинг в обозревателе каталогов.

Пользовательский интерфейс результатов содержит выпадающие списки для каталогов и схем. При выборе каталога раскрывающийся список схемы заполняется схемами в этом каталоге с включенным мониторингом качества данных.

• Если у вас есть права управления или SELECT привилегии в каталоге, вы можете просматривать инциденты на уровне каталога. Чтобы просмотреть все инциденты в каталоге, выберите "Все схемы " в раскрывающемся меню "Схема ".

  

• Чтобы просмотреть инциденты для конкретной схемы, необходимо также иметь права УПРАВЛЕНИЯ или SELECT привилегии в этой схеме. При выборе схемы отображаются инциденты только для этой схемы.

На странице результатов показан сводный раздел в верхней части экрана, в котором отображается общее качество данных для выбранной области, включая процент работоспособных таблиц и процент отслеживаемых схем или таблиц. Ниже приведен список инцидентов во всех наблюдаемых таблицах в выбранном диапазоне. Используйте кнопки для отображения таблиц нездоровых, здоровых или ошибок.

В следующей таблице описываются столбцы, которые немного отличаются в зависимости от того, выберете ли вы Нездорового, Здорового или Ошибку.

Просмотр результатов на уровне хранилища метаданных

В этом разделе представлен шаблон, который можно импортировать в рабочую область. Этот шаблон создает панель мониторинга, которая позволяет просматривать все результаты качества в хранилище метаданных.

Чтобы использовать этот шаблон, необходимо иметь доступ к system.data_quality_monitoring.table_results таблице. По умолчанию доступ к этой таблице имеют только администраторы учетных записей. Они могут предоставлять доступ другим пользователям по мере необходимости.

Использование шаблона

Выполните следующие действия:

1. Скачайте файл шаблона: metastore-quality-dashboard.lvdash.json.
2. На боковой панели рабочей области щелкните панели мониторинга.
3. В правом верхнем углу выберите "Импорт панели мониторинга" из файла в раскрывающемся меню "Создание панели мониторинга ".
4. В диалоговом окне щелкните "Выбрать файл", перейдите к файлу шаблона и щелкните " Импортировать панель мониторинга".

Файл импортируется и отображается панель мониторинга.

Сведения о качестве таблицы

Пользовательский интерфейс сведений о качестве таблицы позволяет глубже разобраться в тенденциях и понять, почему аномалии были обнаружены для определенных таблиц в схеме. Вы можете получить доступ к этому представлению несколькими способами:

• В пользовательском интерфейсе результатов (новый интерфейс) щелкните ссылку проверки в списке инцидентов.
• На панели мониторинга (устаревшая панель мониторинга Lakeview) щелкните имя таблицы на вкладке "Обзор качества".
• В средстве просмотра таблиц UC перейдите на вкладку "Качество " на странице таблицы.

Все параметры позволяют получить одно и то же представление сведений о качестве таблицы для выбранной таблицы.

В таблице пользовательский интерфейс отображает сводки из каждой проверки качества таблицы с графами прогнозируемых и наблюдаемых значений при каждой метке времени оценки. Графики отображают результаты за последние 1 неделю данных.

Если таблица не прошла проверку качества, пользовательский интерфейс также отображает все вышестоящие задания, которые были идентифицированы как первопричина.

Настройка оповещений

Чтобы настроить оповещение Databricks SQL в таблице результатов вывода, ознакомьтесь с оповещениями об обнаружении аномалий.

Ограничения

• Обнаружение аномалий не поддерживает представления или внешние таблицы.
• Определение полноты не учитывает такие метрики, как доля нулевых значений, значений ноль или NaN.

Обнаружение устаревших аномалий

В следующих разделах рассматриваются две устаревшие функции: панель мониторинга качества данных и конфигурация задания обнаружения аномалий. Текущая версия обнаружения аномалий не включает эти функции. Панель мониторинга заменена пользовательским интерфейсом результатов мониторинга качества данных.

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]