Создание ссылки Azure Synapse для Dataverse с помощью рабочей области Azure Synapse

Вы можете использовать Azure Synapse Link, чтобы подключить данные Microsoft Dataverse к Azure Synapse Analytics для изучения ваших данных и ускорения получения аналитической информации. В этой статье показано, как выполнить следующие задачи:

  1. Подключите данные Dataverse к рабочей области Azure Synapse Analytics с помощью службы Synapse Link Azure.
  2. Управление таблицами Dataverse, включенными в Synapse Link Azure.
  3. Отслеживайте Azure Synapse Link.
  4. Отключите Azure Synapse Link.
  5. Свяжите снова вашу Azure Synapse Link.
  6. Просмотрите данные в Azure Synapse Analytics.

Заметка

Служба Azure Synapse Link для Microsoft Dataverse ранее называлась "Экспорт в озеро данных". Служба была переименована в мае 2021 года и продолжит экспортировать данные в Azure Data Lake, а также Azure Synapse Analytics.

Необходимые компоненты

требования Azure Data Lake Storage Gen2

У вас должна быть учетная запись Azure Data Lake Storage Gen2 и следующие роли:

  • Owner
  • Участник данных хранилища BLOB-объектов
  • Владелец данных хранилища BLOB-объектов

Требование наличия роли владельца: роль "Владелец" требуется, поскольку добавление управляемого удостоверения службы Azure Synapse Link в учетную запись хранения — это привилегированная операция. Этот управляемый идентификатор позволяет службе выполнять синхронизацию из "Dataverse" в "Synapse". В настоящее время роль владельца является обязательной и пользовательские роли с аналогичными привилегиями не поддерживаются для этого шага.

Привилегии для управляемого удостоверения:

  • Владелец и участник учетной записи хранения: требуются только при первоначальной настройке для создания файловой системы в учетной записи хранения и назначаются в учетной записи хранения. После установки эти привилегии можно удалить без влияния на операции синхронизации.
  • Участник данных хранилища BLOB-объектов: требуется для стандартных операций с BLOB-объектами при регулярной синхронизации.
  • Владелец данных BLOB-объектов хранилища: в настоящее время требуется для управления как данными, так и разрешениями доступа в сценариях с Azure Data Lake Storage 2-го поколения.

Учетная запись хранения должна включить иерархическое пространство имен для начальной настройки и разностной синхронизации.

Разрешить доступ к ключу учетной записи хранения требуется только для начальной настройки, так как служба использует авторизацию общего ключа для выполнения привилегированных операций, таких как создание файловой системы и установка ссылки перед переходом на проверку подлинности управляемого удостоверения. После установки доступ на основе ключей больше не нужен.

Учетная запись хранения должна иметь разрешенную область для операций копирования, для которых задано значение Из любой учетной записи хранения.

  • Рабочая область Synapse: у вас должна быть рабочая область Synapse и доступ к роли Synapse Administrator в Synapse Studio. Рабочая область Synapse должна находиться в том же регионе, что и учетная запись Azure Data Lake Storage Gen2. Учетная запись хранения должна быть добавлена в качестве связанной службы в Synapse Studio. Чтобы создать рабочую область Synapse, перейдите в Создание рабочей области Synapse.

Заметка

  • Учетная запись хранения и рабочая область Synapse должны быть созданы в том же клиенте Microsoft Entra, что и ваш клиент Power Apps.
  • Чтобы задать параметр Включено для выбранных виртуальных сетей и IP-адресов для связанной учетной записи хранения и рабочей области, необходимо создать Azure Synapse Link с управляемыми удостоверениями. Дополнительная информация: Использование управляемых удостоверений для Azure Data Lake Storage (без настройки управляемых удостоверений необходимо включить доступ к общедоступной сети для ресурсов Azure как для начальной настройки, так и для дельта-синхронизации.)
  • Рабочие области Synapse с управляемыми частными конечными точками, защитой от кражи данных или управляемыми виртуальными сетями не поддерживаются.
  • У вас должен быть доступ роли Читатель для группы ресурсов с учетной записью хранения и рабочей областью Synapse.
  • При добавлении нескольких пользователей в рабочую область Synapse, они должны иметь доступ к роли Synapse Administrator в Synapse Studio и роли Storage Blob Data Contributor в учетной записи Azure Data Lake Storage Gen2.
  • В одной среде DV можно создать не более 10 профилей Synapse Link.

Подключение Dataverse к рабочей области Synapse

  1. Войдите в Power Apps и выберите предпочитаемую среду.

  2. В области навигации слева выберите Azure Synapse Link. Если Azure Synapse Link не отображается на боковой панели, выберите ... Дополнительные и выберите Discover all. Выберите Azure Synapse Link в разделе Data Management.

  3. На панели команд выберите Создать связь.

  4. Выберите параметр Подключиться к рабочей области Azure Synapse.

  5. Выберите Подписка, Группа ресурсов, Имя рабочей области и Учетная запись хранения. Убедитесь, что рабочая область Synapse и учетная запись хранения соответствуют требованиям, указанным в разделе Предварительные условия. Нажмите кнопку Далее.

    Подключение к рабочей области.

    Заметка

    В рамках связывания среды с озером данных вы предоставляете службе Azure Synapse Link доступ к учетной записи хранения. Убедитесь, что вы выполнили предварительные условия создания и настройки учетной записи хранения Azure Data Lake, а также предоставления себе роли владельца для этой учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.

  6. Выберите таблицы, которые требуется экспортировать, выбрав их по одной или введя список таблиц, разделенных запятыми, в поле поиска, затем выберите Сохранить. Только таблицы с включенным свойством "Отслеживать изменения" можно экспортировать. Больше информации: Дополнительные параметры.

    Добавьте таблицы.

Вы можете выполнить описанные выше шаги, чтобы создать ссылку из одной среды для нескольких рабочих областей Azure Synapse Analytics и озер данных Azure в вашей подписке Azure путем добавления озера данных Azure в качестве связанной службы в рабочей области Synapse. Аналогичным образом, можно создать ссылку из нескольких сред в ту же рабочую область Azure Synapse Analytics и озеро данных Azure, всё в рамках одного клиента.

Заметка

Служба Azure Synapse Link для Dataverse легко интегрирована в Power Platform в качестве встроенной функции. Она соответствует стандартам безопасности и управления, установленным для хранения данных и управления в Power Platform. Дополнительная информация: Хранение данных и управление

Данные, экспортированные службой Azure Synapse Link, шифруются при передаче с помощью протокола TLS 1.2 или более поздней версии и шифруются в Azure Data Lake Storage Gen2. Кроме того, временные данные в хранилище BLOB-объектов также зашифрованы в неактивном состоянии. Шифрование в Azure Data Lake Storage Gen2 помогает защитить данные, реализовать корпоративные политики безопасности и соответствовать нормативным требованиям. Дополнительные сведения: Шифрование данных в состоянии покоя в Azure - Дополнительные сведения: Настройка брандмауэров и виртуальных сетей Azure Storage

Управление данными таблицы в рабочей области Synapse

После настройки Synapse Link Azure вы можете управлять таблицами, экспортируемыми одним из двух способов:

  • В области Power Apps (make.powerapps.com) Azure Synapse Link выберите таблицы Manage на панели команд, чтобы добавить или удалить одну или несколько связанных таблиц.

  • На портале Power Apps maker Tables выберите ... рядом с таблицей и выберите связанное озеро данных, в котором требуется экспортировать данные таблицы.

    Выберите таблицу для экспорта.

После настройки Synapse Link Azure можно отслеживать Synapse Link Azure на вкладке Tables.

Мониторинг Azure Synapse Link

  • Будет список таблиц, которые являются частью выбранной Azure Synapse Link.
  • Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
  • Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
  • В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

  1. Выберите нужную Synapse Link Azure, чтобы отменить связь.

  2. Выберите Отменить связь на панели команд.

  3. Чтобы удалить как файловую систему озера данных, так и базу данных Synapse, введите имя ссылки для подтверждения.

  4. Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Важно

Пользовательские объекты базы данных, создаваемые в базе данных Azure Synapse Link, удаляются после завершения отмены связи.

Вам необходимо реализовать собственную систему управления версиями ваших пользовательских сценариев объектов базы данных, чтобы обеспечить наличие резервной копии.

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать ту же рабочую область Synapse и озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

  1. Перейдите к Azure Synapse Analytics.

  2. Выберите ... для несвязанной базы данных и выберите Создать блокнот>Пустой блокнот.

  3. Присоедините записную книжку к пулу Apache Spark, выбрав пул в раскрывающемся меню. Если у вас нет пула Apache Spark, выберите Управлять пулами, чтобы создать его.

  4. Введите следующий скрипт, замените <DATABASE_NAME> именем базы данных, которую нужно отсоединить, и запустите блокнот.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

  1. После запуска блокнота обновите список баз данных на левой панели. Если база данных все еще существует, попробуйте щелкнуть правой кнопкой мыши базу данных и выбрать Удалить.

  2. Перейдите в Power Apps и восстановите связь с рабочей областью Synapse и озером данных.

Доступ к данным практически в реальном времени и данным моментальных снимков только для чтения

После создания Azure Synapse Link две версии данных таблицы будут по умолчанию синхронизироваться в Azure Synapse Analytics и/или Azure Data Lake Storage 2-го поколения в вашей подписке Azure, чтобы гарантировать, что вы можете надежно использовать обновленные данные в озере в любой момент времени:

  • Практически в режиме реального времени: предоставляет копию данных, синхронизированную из Dataverse через Azure Synapse Link эффективно, обнаруживая, какие данные изменились с момента первоначального извлечения или последней синхронизации.
  • Данные моментального снимка: предоставляет доступную только для чтения копию данных почти в реальном времени, которые обновляются через регулярные промежутки времени (в данном случае каждый час).

Заметка

  • Производительность синхронизации практически в режиме реального времени зависит от нескольких факторов, включая начальный размер нагрузки данных, скорость обработки данных и объем изменений. В ситуациях с большими объемами транзакций, такими как процессы в приложениях Finance и Operations, создающих миллионы записей за короткое время, или процессы, такие как функция главного планирования, включенная в Dynamics 365 Supply Chain Management, которые удаляют и повторно создают большие объемы записей. Synapse Link должен синхронизировать все изменения, включая удаления. В этих сценариях с большим объемом доступность данных в почти реальном времени не может быть гарантирована. 
  • Для создания доступных только для чтения данных моментального снимка убедитесь, что параметр Разрешенная область для операций копирования установлен в значение Из любой учетной записи хранения. Дополнительная информация: Настройка разрешенной области для операций копирования
  1. Выберите нужную Azure Synapse Link, а затем выберите Перейти в рабочую область Azure Synapse Analytics на верхней панели.
  2. Разверните Базы данных озер в левой панели, выберите dataverse-environmentName-organizationUniqueName, затем разверните Таблицы.

Все Таблицы данных почти в реальном времени перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName. Все Таблицы данных моментальных снимков перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName_partitioned.

Таблицы данных почти в реальном времени и моментальных снимков

Дальнейшие действия

После успешного использования службы Azure Synapse Link для Dataverse вы узнаете, как анализировать и использовать данные с помощью центра Discover Hub. Чтобы получить доступ к хабу Discover Hub, перейдите в Power Apps>Azure Synapse Link. Выберите связанный сервис, затем выберите вкладку Центр обнаружения. Здесь вы можете найти рекомендуемые инструменты и тщательно подобранную документацию, которые помогут вам извлечь максимальную пользу из ваших данных. Центр обнаружения.

См. также

Настройка Azure Synapse Link для Dataverse с Azure Data Lake

Расширенная конфигурация Azure Synapse Link для Dataverse

Azure Synapse Link: часто задаваемые вопросы

Блог: Анонс Azure Synapse Link для Dataverse

  • Last updated on