Поделиться через

Планирование миграции для Фабрика данных Azure в фабрику данных Fabric

Microsoft Fabric объединяет средства аналитики Майкрософт в одну платформу SaaS. Она предоставляет надежные возможности для оркестрации рабочих процессов, перемещения данных, репликации и преобразования в масштабе. Фабрика данных Fabric предоставляет среду SaaS, которая строится на Фабрика данных Azure (ADF) PaaS благодаря улучшению удобства использования и дополнительным функциям, что делает Фабрику данных Fabric идеальным обновлением существующих решений по интеграции данных.

В этом руководстве показаны стратегии миграции, рекомендации и подходы для перехода с Фабрика данных Azure на фабрику данных Fabric.

Для чего нужна миграция

Переход с конвейеров ADF и Synapse на фабрику данных Fabric больше, чем лифт и смена: это возможность упростить управление, стандартизировать шаблоны и использовать расширенные функции фабрики данных Fabric для улучшения стратегии интеграции данных.

Fabric предлагает множество новых функций, в том числе:

См. руководство по сравнению Фабрика данных Azure и Fabric Data Factory для более подробного сравнения.

Критические архитектурные различия

Прежде чем переходить с Фабрика данных Azure на фабрику данных Fabric, рассмотрите следующие критические архитектурные различия, которые, как правило, оказывают наибольшее влияние на планирование миграции:

Категория Фабрика данных Azure Fabric Data Factory Влияние миграции
Настраиваемый код Настраиваемое действие Деятельность пакетная служба Azure Имя действия отличается, но поддерживает те же функции.
Dataflows Сопоставление потоков данных (на основе Spark) Dataflow 2-го поколения (подсистема Power Query) с быстрой копией и несколькими пунктами назначения Различные механизмы преобразования и возможности. Дополнительные сведения см. в руководстве для пользователей сопоставления потоков данных Поток данных.
Наборы данных Отдельные объекты набора данных для повторного использования Свойства определяются в ходе выполнения действий При преобразовании из ADF в Fabric сведения о наборе данных содержатся в каждом действии.
Динамические подключения Свойства связанной службы могут быть динамическими с помощью параметров Свойства подключения не поддерживают динамические свойства, но действия конвейера могут использовать динамическое содержимое для объектов подключения Для решений на основе архитектуры на основе метаданных, использующих параметризованные подключения, параметризируйте объект подключения в Fabric.
глобальные параметры Глобальные параметры библиотека переменных Fabric Различные шаблоны реализации и типы данных, хотя у нас есть руководство по миграции.
Действия HDInsight Пять отдельных действий (Hive, Pig, MapReduce, Spark, Streaming) Одно действие HDInsight При преобразовании требуется только один тип действия, но поддерживаются все функциональные возможности.
Идентичность Управляемая идентичность Fabric идентификация рабочей области Различные модели управления идентификацией, требуется подготовка для перехода.
Хранилище ключей Зрелая интеграция со всеми типами проверки подлинности Ограниченная интеграция с помощью Fabric Key Vault Reference Сравните в настоящее время поддерживаемые источники Key Vault и аутентификацию с существующими конфигурациями.
Выполнение конвейера Выполнение действия конвейера Вызов активности конвейера с типом подключения FabricDataPipeline Требования к имени действия и подключению изменяются при преобразовании.
Scheduling Один триггер для многих конвейеров или многих триггеров для каждого конвейера с централизованным управлением Одно расписание на конвейер или множество расписаний для каждого конвейера без повторного использования расписания или центрального концентратора В настоящее время для Fabric требуется управление расписанием для каждого конвейера.

Пути миграции

Пути миграции зависят от активов ADF и их равенства функций. Возможные варианты:

Элементы Фабрика данных Azure в вашей рабочей области Fabric

Добавление существующего ADF в рабочую область Fabric обеспечивает немедленное представление и управление ресурсами при постепенной миграции. Это идеально подходит для обнаружения, назначения прав владения и параллельного тестирования, так как команды могут просматривать конвейеры, упорядочивать их в рабочих областях Fabric и планировать переходы для каждого домена. Используйте Фабрика данных Azure элементы, чтобы каталогизировать то, что существует, определять приоритеты конвейеров с наивысшим значением и наименьшим риском, а также устанавливать соглашения (именование, папки, повторное использование подключений), которые скрипты преобразования и партнерские инструменты могут следовать последовательно.

Монтирование в Fabric осуществляется с помощью элемента типа Фабрика данных Azure: Принесите ваш Фабрика данных Azure в Fabric.

Обновление конвейеров Фабрика данных Azure с помощью встроенного интерфейса миграции

Fabric предоставляет встроенный интерфейс обновления с упором на оценку, который позволяет оценивать и переносить конвейеры Фабрика данных Azure непосредственно через пользовательские интерфейсы Фабрика данных Azure и Fabric без использования сценариев или индивидуальных инструментов. Этот интерфейс поможет вам:

  • Оценка готовности конвейера и операций непосредственно в Фабрика данных Azure.
  • Ознакомьтесь с пробелами совместимости перед миграцией.
  • Подключите Фабрика данных Azure к рабочей области Fabric для параллельной проверки.
  • Переносите поддерживаемые конвейеры из подключенной фабрики данных в Fabric поэтапно.
  • Планируйте исправление или редизайн для элементов, требующих обновлений или которые появятся в ближайшее время.

Каждый конвейер и действие четко классифицируются (готово, требуется проверка, скоро или не совместим), помогая командам намеренно планировать миграцию и проверять результаты перед переключением рабочих нагрузок. Этот подход хорошо подходит для клиентов, которые хотят управляемого, низкого риска и добавочного пути миграции, сохраняя видимость неподдерживаемых функций и дальнейших шагов. Пошаговые инструкции см. в статье Обновление пайплайнов Фабрика данных Azure для использования с Fabric

Миграция вручную

Миграция вручную необходима для сложных конвейеров с низкой четностью, но это также возможность модернизировать архитектуру и внедрить интегрированные функции Fabric. Этот путь требует более предварительного планирования и разработки, но может дать долгосрочные преимущества в обслуживании, производительности и стоимости.

Чтобы эффективно выполнить миграцию, выполните следующие действия.

  1. Оценка и инвентаризация: каталог всех активов ADF, включая конвейеры, наборы данных, связанные службы и среды выполнения интеграции. Определение зависимостей и шаблонов использования.
  2. Определите повторяющиеся и неиспользуемые элементы. Очистка неиспользуемых или избыточных элементов в ADF для упрощения миграции и среды интеграции данных.
  3. Выявите пробелы: используйте средство оценки миграции и просмотрите совместимость соединителей и совместимость активности для выявления пробелов между конвейерами ADF и конвейерами Fabric и для планирования альтернатив.
  4. Обзор новых функций: используйте наше руководство по принятию решений для перемещения данных и руководство по интеграции данных, чтобы решить, какие средства Fabric лучше всего подходят вашим требованиям.
  5. Plan: Ознакомьтесь с рекомендациями по миграции для каждого из ваших элементов и рекомендациями по максимальному использованию улучшенных возможностей Fabric.
  6. Если в ADF используются глобальные параметры, планируйте их перенос в библиотеки переменных Fabric. Подробные шаги см. в статье Convert ADF Global Parameters to Fabric Variable Libraries.
  7. переход ADF. Рассмотрим добавление элемента Фабрика данных Azure в Microsoft Fabric в качестве первого шага миграции, что позволяет постепенно переходить на одной платформе.
  8. Приоритеты: ранжирование конвейеров на основе влияния на бизнес, сложность и простоту миграции.
  9. Автоматизируйте, где можно: используйте встроенный интерфейс обновления для оценки, миграции и проверки конвейеров перед переносом рабочих нагрузок в рабочую среду. Дополнительные сведения см. в средстве обновления.
  10. Рассмотрите инструменты: Используйте эти инструменты, чтобы облегчить организацию досуга.
    • Используйте шаблоны Fabric в качестве отправного места для конвейеров с общими сценариями интеграции данных.
    • Использование параметризации для создания повторно используемых конвейеров
    • Используйте Copilot в Fabric Data Factory для помощи в создании потребной линии.
    • Используйте конвейеры развертывания для CI/CD и управления версиями.
  11. Мануальная миграция. Для сценариев, не поддерживаемых другими методами миграции, перестройте их в Fabric:
    1. Воссоздание подключений: настройте подключения в Fabric для замены связанных служб в ADF
    2. Recreate действия: настройте ваши действия в конвейерах, заменив неподдерживаемые действия на альтернативы Fabric или с помощью действия вызова конвейера Invoke
    3. Запланируйте и задайте триггеры: Воссоздайте расписания и триггеры событий в Fabric для сопоставления расписаний ADF
  12. Тщательно протестируйте: проверьте перенесенные конвейеры в соответствии с ожидаемыми выходными данными, тестами производительности и требованиями соответствия.

Примеры сценариев миграции

Переход от ADF к Fabric может включать различные стратегии в зависимости от варианта использования. В этом разделе описаны распространенные пути миграции и рекомендации по эффективному планированию.

Сценарий 1. Каналы и потоки данных ADF

Модернизация среды ETL путем перемещения конвейеров и потоков данных в Fabric. Планирование этих элементов:

  • Повторное создание связанных служб в качестве подключений
  • Повторное создание глобальных параметров в виде библиотек переменных
  • Задавайте свойства набора данных в рамках действий конвейера
  • Замените SHIRs (локальные среды выполнения интеграции) на OPDGs (локальные шлюзы данных) и VNet IRs на шлюзы данных виртуальная сеть.
  • Перестройте несовместимые действия ADF с помощью альтернатив Fabric или активности конвейера Invoke. Неподдерживаемые действия включают:
    • Data Lake Analytics (U-SQL), устаревшая служба Azure
    • Действие проверки, которое можно перестроить с помощью получения метаданных, циклов конвейера и действий If
    • Power Query, которая полностью интегрирована в Fabric в качестве потоков данных, где код M можно использовать повторно.
    • Действия блокнота, Jar и Python можно заменить операцией Databricks в Fabric
    • Действия Hive, Pig, MapReduce, Spark и Streaming можно заменить действием HDInsight в Fabric

Например, ниже приведена страница конфигурации набора данных ADF с параметрами пути к файлу и сжатия:

Снимок экрана: страница конфигурации набора данных ADF.

И вот операция копирования для инструмента Data Factory в Fabric, где сжатие и путь к файлам указаны в операции.

Скриншот конфигурации сжатия для Fabric действие Copy.

Сценарий 2. ADF с CDC, SSIS и Airflow

Создайте заново CDC в виде элементов задания на копирование. Для Airflow, скопируйте ваши DAG в предложение Apache Airflow от Fabric. Выполните пакеты служб SSIS с помощью конвейеров ADF и вызовите их из Fabric.

Сценарий 3. Обновление конвейера с помощью встроенных возможностей миграции

Этот интерактивный интерфейс оценки позволяет оценивать готовность, выявлять пробелы совместимости и постепенно переносить поддерживаемые конвейеры в рабочую область Fabric — все без сценариев. Дополнительные сведения см. в статье Обновление пайплайнов Фабрика данных Azure до Fabric.

Сценарий 4. Элементы ADF в рабочей области Fabric

Вы можете добавить всю фабрику ADF в рабочую область Fabric в качестве собственного элемента. Это позволяет управлять фабриками данных ADF и объектами Fabric в одном интерфейсе. Пользовательский интерфейс ADF остается полностью доступным, позволяя отслеживать, управлять и изменять элементы фабрики ADF непосредственно из рабочей области Fabric. Однако выполнение конвейеров, действий и сред выполнения интеграции по-прежнему происходит в ваших ресурсах Azure.

Эта функция полезна для организаций, переходя на Fabric, так как она предоставляет единое представление ресурсов ADF и Fabric, упрощая управление и планирование миграции.

Дополнительные сведения см. в разделе Перенос Фабрика данных Azure в среду Fabric.

Связанное содержимое

  • Last updated on