Поделиться через


Преобразование данных путем запуска записной книжки

Используйте действие Notebook для запуска notebooks, создаваемых в Microsoft Fabric в рамках конвейеров Data Factory. Записные книжки позволяют запускать задания Apache Spark для привлечения, очистки или преобразования данных в рамках рабочих процессов данных. Добавить действие Notebook в конвейеры в Fabric легко, и в этом руководстве описано, как пройти каждый шаг.

Предварительные условия

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

Создание задачи в блокноте

  1. Создайте конвейер в рабочей области.

  2. Найдите записную книжку на панели Действия конвейера и выберите её, чтобы добавить на холст конвейера.

    Скриншот пользовательского интерфейса Fabric с выделенной панелью

  3. Выберите новую операцию Notebook в рабочей области, если она еще не выбрана.

    Снимок экрана: вкладка

    Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Настройка параметров записной книжки

Выберите вкладку Параметры.

В разделе "Подключение" выберите метод проверки подлинности для запуска записной книжки и укажите необходимые учетные данные.

Выберите существующую записную книжку в раскрывающемся списке "Записная книжка " и при необходимости укажите все параметры для передачи в записную книжку.

Снимок экрана: вкладка

Использование удостоверения рабочей области Fabric (WI) в деятельности в записной книжке

  1. Создайте удостоверение рабочей области

    Необходимо включить WI в рабочей области (это может занять некоторое время для загрузки). Создайте идентификацию для вашей рабочей области в Fabric. Обратите внимание, что wi-интерфейс должен быть создан в той же рабочей области, что и конвейер.

    Ознакомьтесь с документацией на доступ в рабочей области.

  2. Включение параметров уровня клиента

    Включите следующую настройку клиента (она отключена по умолчанию): Субъекты-службы могут вызывать общедоступные API Fabric.

    Этот параметр можно включить на портале администрирования Fabric . Дополнительные сведения об этом параметре см. в статье о включении проверки подлинности сервисного субъекта для административных API.

  3. Предоставьте разрешения рабочей области удостоверению рабочей области

    Откройте рабочую область, выберите "Управление доступом" и назначьте разрешения удостоверениям рабочей области. Доступ участника достаточно для большинства сценариев. Если ваша записная книжка не находится в той же рабочей области, что и конвейер, вам необходимо предоставить созданному вами в рабочей области конвейера WI как минимум доступ на уровне Участника к рабочей области вашей записной книжки.

    Ознакомьтесь с документацией по предоставление пользователям доступа к рабочим областям.

Установка тега сеанса

Чтобы свести к минимуму время выполнения задания записной книжки, можно при необходимости задать тег сеанса. Установка тега сеанса позволяет Spark повторно использовать уже существующий сеанс, что минимизирует время запуска. Любое произвольное строковое значение можно использовать для тега сеанса. Если сеанс не существует, новый будет создан с помощью значения тега.

Снимок экрана: вкладка

Примечание.

Чтобы иметь возможность использовать метку сеанса, необходимо включить опцию высокой параллельности для конвейера, исполняющего несколько записных книжек. Этот параметр можно найти в режиме высокой параллельности для настроек Spark в настройках рабочей области.

Скриншот вкладки

Сохранить и запустить или запланировать поток данных

Перейдите на вкладку "Главная " в верхней части редактора конвейера и нажмите кнопку "Сохранить", чтобы сохранить конвейер. Выберите "Выполнить" , чтобы запустить его напрямую или запланировать выполнение в определенный момент времени или интервалы. Дополнительные сведения о запусках конвейера см. в статье "Планирование запусков конвейера".

Снимок экрана: вкладка

После выполнения можно отслеживать выполнение конвейера и просматривать журнал выполнения с вкладки "Выходные данные " под холстом.

Известные проблемы