Подготовка данных с помощью преобразования данных

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

Обработка данных в фабрике данных позволяет создавать интерактивные Power Query mash-ups в собственном коде в ADF, а затем выполнять их в большом масштабе внутри конвейера ADF.

Создание действия Power Query

Существует два способа создания Power Query в Azure Data Factory. Один из способов — нажать значок плюса и выбрать Power Query в области ресурсов фабрики.

Снимок экрана Power Query в панели ресурсов фабрики.

Другой способ доступен на панели действий на рабочем пространстве конвейера. Откройте аккордеон Power Query и перетащите действие Power Query на холст.

Скриншот, на котором выделена опция

Разработка действия подготовки данных Power Query

Добавьте набор данных Source для Power Query mash-up. Можно выбрать существующий набор или создать новый. После того как вы сохранили комбинированный набор, вы можете создать конвейер, добавить действие Power Query для обработки данных в ваш конвейер и выбрать набор данных для выгрузки, чтобы указать ADF, где сохранить ваши данные. Хотя допускается выбор одного или нескольких исходных наборов данных, но в настоящее время разрешено указывать только один приемник. Указание контрольного набора данных необязательно, но требуется хотя бы один исходный набор данных.

Обработка данных

Щелкните Create, чтобы открыть редактор Power Query Online mashup.

Сначала необходимо выбрать источник данных для редактора компоновки данных.

Источник Power Query.

После завершения создания Power Query, его можно сохранить, а затем создать конвейер. Необходимо добавить mashup в качестве активности в ваш конвейер. Это происходит, когда вы создаете или выбираете конечный набор данных для размещения ваших данных. Вы также можете задать свойства набора данных приемника, нажав вторую кнопку справа от набора данных приемника. Не забудьте изменить параметр секции в разделе "Оптимизация" на "Один раздел", если требуется получить только один выходной файл.

Приемник Power Query.

Создайте обработку данных в Power Query, подготавливьте данные без использования кода. Список доступных функций см. в статье о функциях преобразования. ADF преобразует скрипт M в скрипт потока данных, чтобы вы могли выполнять Power Query в масштабах с помощью среды Spark для потока данных в Azure Data Factory.

Скриншот, показывающий процесс авторства ваших процессов подготовки данных в Power Query.

Выполнение и мониторинг действия Power Query обработки данных

Чтобы выполнить отладочный запуск конвейера действия Power Query, щелкните Debug на холсте конвейера. После публикации вашего конвейера Запустить сейчас выполняет запуск по требованию последнего опубликованного конвейера. Потоки Power Query могут планироваться со всеми существующими триггерами Azure Data Factory.

Скриншот, показывающий, как добавить задачу обработки данных в Power Query.

Перейдите на вкладку Monitor, чтобы визуализировать результаты выполнения активированной операции Power Query.

Снимок экрана, который показывает выходные данные запуска действия преобразования Power Query.

Узнайте, как создать поток данных для сопоставления.