Модели майнинга данных (службы Analysis Services - анализ данных)

Применимо к: SQL Server 2019 и более ранних версий Analysis Services Azure Analysis Services Fabric/Power BI Premium

Модель интеллектуального анализа данных создается путем применения алгоритма к данным, но это больше алгоритма или контейнера метаданных: это набор данных, статистики и шаблонов, которые можно применить к новым данным для создания прогнозов и вывода о связях.

В этом разделе объясняется, что такое модель интеллектуального анализа данных и для чего она может использоваться: базовая архитектура моделей и структур, свойства моделей интеллектуального анализа данных и способы создания и работы с моделями интеллектуального анализа данных.

Архитектура модели майнинга

Определение моделей интеллектуального анализа данных

Свойства модели интеллектуального анализа данных

Столбцы модели интеллектуального анализа данных

Обработка моделей интеллектуального анализа данных

Просмотр и запрос моделей анализа данных

Архитектура модели майнинга

Модель анализа данных получает данные из структуры анализа данных, а затем анализирует их с помощью алгоритма анализа данных. Структура анализа данных и модель анализа данных являются отдельными объектами. Структура майнинга хранит сведения, определяющие источник данных. Модель майнинга данных хранит информацию, полученную в результате статистической обработки данных, таких как шаблоны, найденные в результате анализа.

Модель интеллектуального анализа данных будет оставаться пустой, пока данные, предоставленные структурой интеллектуального анализа данных, не будут обработаны и проанализированы. После обработки модели интеллектуального анализа данных она содержит метаданные, результаты и привязки к структуре интеллектуального анализа данных.

Метаданные указывают имя модели и сервера, в котором он хранится, а также определение модели, включая столбцы из структуры интеллектуального анализа данных, которые использовались при создании модели, определения любых фильтров, примененных при обработке модели, и алгоритм, используемый для анализа данных. Все эти варианты — столбцы данных и их типы данных, фильтры и алгоритмы имеют мощное влияние на результаты анализа.

Например, можно использовать одни и те же данные для создания нескольких моделей с помощью алгоритма кластеризации, алгоритма дерева принятия решений и наивного алгоритма Байеса. Каждый тип модели создает различные наборы шаблонов, наборов элементов, правил или формул, которые можно использовать для прогнозирования. Как правило, каждый алгоритм анализирует данные по-разному, поэтому содержимое результирующей модели также организовано в разных структурах. В одном типе модели данные и шаблоны могут группироваться в кластерах; В другом типе модели данные могут быть организованы в деревья, ветви и правила, которые разделяют и определяют их.

Модель также зависит от данных, на которых вы ее обучаете: даже модели, обученные на одной и той же добывающей структуре, могут давать разные результаты, если вы по-разному фильтруете данные или используете разные начальные условия во время анализа. Однако в модели хранятся только сводные статистические данные, а фактические данные находятся в структуре интеллектуального анализа данных. Если вы создали фильтры данных при подготовке модели, определения фильтров сохраняются вместе с объектом модели.

Модель содержит набор привязок, которые указывают на данные, кэшированные в хранилище данных для анализа. Если данные кэшируются в структуре и не были удалены после обработки, эти привязки позволяют детализировать результаты до тех случаев, которые поддерживают результаты. Однако фактические данные хранятся в кэше структуры, а не в модели.

Архитектура модели данных

Определение моделей интеллектуального анализа данных

Создайте модель интеллектуального анализа данных, выполнив следующие общие действия.

• Создайте базовую структуру интеллектуального анализа данных и включите столбцы данных, которые могут потребоваться.

• Выберите алгоритм, который лучше всего подходит для аналитической задачи.

• Выберите столбцы из структуры для использования в модели и укажите, как они должны быть использованы: какой столбец содержит целевую переменную, которую вы хотите прогнозировать, какие столбцы предназначены только для входных данных и т. д.

• При необходимости задайте параметры для точной настройки обработки алгоритмом.

• Заполните модель данными, обрабатывая структуру и модель.

Службы SQL Server Analysis Services предоставляют следующие средства для управления моделями интеллектуального анализа данных:

• Мастер интеллектуального анализа данных помогает создать структуру и связанную модель интеллектуального анализа данных. Это самый простой метод для использования. Мастер автоматически создает необходимую структуру анализа данных и помогает в настройке важных параметров.

• Инструкцию DMX CREATE MODEL можно использовать для определения модели. Требуемая структура автоматически создается в процессе; Таким образом, нельзя повторно использовать существующую структуру с этим методом. Используйте этот метод, если вы уже точно знаете, какую модель вы хотите создать, или если вы хотите писать сценарии для моделей.

• Инструкцию DMX ALTER STRUCTURE ADD MODEL можно использовать для добавления новой модели интеллектуального анализа данных в существующую структуру. Используйте этот метод, если вы хотите экспериментировать с разными моделями, основанными на одном наборе данных.

Вы также можете создавать модели интеллектуального анализа данных программным способом с помощью AMO или XML/A или с помощью других клиентов, таких как клиент интеллектуального анализа данных для Excel. Дополнительные сведения см. в следующих разделах:

Архитектура модели майнинга

Свойства модели данных

Каждая модель интеллектуального анализа данных обладает свойствами, определяющими ее и её метаданные. К ним относятся имя, описание, дата последнего обработки модели, разрешения на модель и все фильтры данных, используемых для обучения.

Каждая модель интеллектуального анализа данных также имеет свойства, производные от структуры интеллектуального анализа данных, и описывающие столбцы данных, используемых моделью. Если любой столбец, используемый моделью, является вложенной таблицей, столбец также может применять отдельный фильтр.

Кроме того, каждая модель интеллектуального анализа данных содержит два специальных свойства: Algorithm и Usage.

• Свойство Алгоритма Задает алгоритм, используемый для создания модели. Доступные алгоритмы зависят от используемого поставщика. Список алгоритмов, включенных в SQL Server Analysis Services, см. в разделе "Алгоритмы интеллектуального анализа данных" (Analysis Services — интеллектуальный анализ данных). Свойство алгоритма применяется к модели добычи данных и может быть установлено только один раз для каждой модели. Вы можете изменить алгоритм позже, но некоторые столбцы в майнинговой модели могут стать недействительными, если они не поддерживаются алгоритмом, который вы выберете. Необходимо всегда повторно обработать модель после изменения этого свойства.

• Свойство Usage Определяет, как каждый столбец используется моделью. Вы можете определить использование столбца как Вход, Прогноз, Только прогноз или Ключ. Свойство Usage применяется к отдельным столбцам модели интеллектуального анализа данных и должно быть задано отдельно для каждого столбца, включенного в модель. Если структура содержит столбец, который не используется в модели, используется значение "Игнорировать". Примеры данных, которые можно включить в структуру интеллектуального анализа, но не используемые для анализа, могут быть имена клиентов или адреса электронной почты. Таким образом, вы можете запросить их позже, не включив их во время этапа анализа.

После создания модели интеллектуального анализа данных можно изменить значение свойств модели интеллектуального анализа данных. Однако любое изменение, даже изменение имени модели, требует повторной обработки модели. После повторной обработки модели могут появиться различные результаты.

Архитектура модели майнинга

Столбцы модели анализа данных

Модель майнинга данных содержит столбцы данных, которые получены из столбцов, определенных в структуре майнинга данных. Вы можете выбрать столбцы из структуры интеллектуального анализа данных, которые следует использовать в модели, и создать копии столбцов структуры интеллектуального анализа данных, а затем переименовать их или изменить их использование. В рамках процесса построения модели необходимо также определить использование столбца моделью. Сюда входят такие сведения, как является ли столбец ключом, используется ли он для прогнозирования, или может быть игнорирован алгоритмом.

При создании модели вместо автоматического добавления каждого столбца данных, доступных, рекомендуется внимательно просматривать данные в структуре и включать в модель только те столбцы, которые имеют смысл для анализа. Например, следует избегать включения нескольких столбцов, повторяющих одни и те же данные, и следует избегать использования столбцов, имеющих в основном уникальные значения. Если вы считаете, что столбец не должен использоваться, его не нужно удалять из структуры интеллектуального анализа данных или модели интеллектуального анализа данных; вместо этого можно просто установить пометку на столбце, которая указывает, что его следует игнорировать при создании модели. Это означает, что столбец останется в структуре интеллектуального анализа данных, но не будет использоваться в модели интеллектуального анализа данных. Если вы включили переход из модели к структуре интеллектуального анализа данных, вы можете извлечь данные из столбца позже.

В зависимости от выбранного алгоритма некоторые столбцы в структуре анализа данных могут быть несовместимы с определенными типами моделей или могут привести к плохим результатам. Например, если данные содержат непрерывные числовые данные, например столбец "Доход", а для модели требуются дискретные значения, может потребоваться преобразовать данные в дискретные диапазоны или удалить их из модели. В некоторых случаях алгоритм автоматически преобразует или сопоставляет данные, но результаты могут не всегда быть нужными или ожидаемыми. Рассмотрите возможность создания дополнительных копий столбца и пробных моделей. Вы также можете задать флаги для отдельных столбцов, чтобы указать, где требуется специальная обработка. Например, если данные содержат значения NULL, можно использовать флаг моделирования для управления обработкой. Если вы хотите, чтобы определенный столбец считался регрессией в модели, это можно сделать с помощью флага моделирования.

После создания модели можно внести изменения, такие как добавление или удаление столбцов, или изменение имени модели. Однако любое изменение, даже только для метаданных модели, требует повторной обработки модели.

Архитектура модели майнинга

Обработка моделей интеллектуального анализа данных

Модель интеллектуального анализа данных — это пустой объект, пока он не будет обработан. При обработке модели данные, кэшированные структурой, передаются через фильтр, если он определен в модели, и анализируется алгоритмом. Алгоритм вычисляет набор сводной статистики, описывающей данные, идентифицирует правила и шаблоны в данных, а затем использует эти правила и шаблоны для заполнения модели.

После обработки модель майнинга данных содержит обширную информацию о данных и паттернах, найденных с помощью анализа, включая формулы регрессии, статистические данные и правила. Вы можете использовать пользовательские средства просмотра для просмотра этих сведений или создать запросы интеллектуального анализа данных для получения этих сведений и их использования для анализа и представления.

Архитектура модели майнинга

Просмотр и запрос моделей добычи данных

После обработки модели его можно изучить с помощью пользовательских средств просмотра, предоставляемых в SQL Server Data Tools и SQL Server Management Studio. For

Вы также можете создавать запросы к модели интеллектуального анализа данных либо для прогнозирования, либо для получения метаданных модели или шаблонов, созданных моделью. Вы создаете запросы, используя расширения интеллектуального анализа данных (DMX).

Связанные материалы

Связанные задачи

Используйте следующие ссылки, чтобы получить более конкретные сведения о работе с моделями интеллектуального анализа данных

См. также

Объекты базы данных (службы анализа — многомерные данные)