Compartir a través de

Planeación de la migración de Azure Data Factory a Fabric Data Factory

Microsoft Fabric reúne las herramientas de análisis de Microsoft en una única plataforma SaaS. Ofrece funcionalidades sólidas para la orquestación del flujo de trabajo, el movimiento de datos, la replicación y la transformación a escala. Fabric Data Factory proporciona un entorno SaaS que se basa en paaS de Azure Data Factory (ADF) a través de mejoras de facilidad de uso y funcionalidad adicional, lo que hace que Fabric Data Factory sea la modernización perfecta de las soluciones de integración de datos existentes.

En esta guía se muestran las estrategias de migración, las consideraciones y los enfoques para ayudarle a pasar de Azure Data Factory a Fabric Data Factory.

¿Por qué migrar?

Migrar desde canalizaciones de ADF y Synapse a Fabric Data Factory es más que un lift-and-shift: es una oportunidad para simplificar la gobernanza, estandarizar patrones y usar las características avanzadas de Fabric Data Factory para mejorar la estrategia de integración de datos.

Fabric ofrece muchas características nuevas, entre las que se incluyen:

Para obtener una comparación detallada, consulte la guía de comparación de Azure Data Factory y Fabric Data Factory.

Diferencias de arquitectura críticas

Antes de migrar de Azure Data Factory a Fabric Data Factory, tenga en cuenta estas diferencias arquitectónicas críticas que tienden a tener el mayor efecto en el planeamiento de la migración:

Categoría Azure Data Factory Fabric Data Factory Impacto en la migración
Código personalizado Actividad personalizada Azure Batch actividad El nombre de la actividad es diferente, pero admite la misma funcionalidad.
Dataflows Mapeo de flujos de datos (basados en Spark) Dataflow Gen2 (motor de Power Query) con copia rápida y múltiples destinos Diferentes motores y funcionalidades de transformación. Consulte nuestra guía sobre flujos de datos de mapeo para usuarios de Data Flow para obtener más información.
Conjuntos de datos Objetos de conjunto de datos independientes y reutilizables Las propiedades se definen en línea dentro de las actividades Al convertir de ADF a Fabric, la información del "conjunto de datos" está dentro de cada actividad.
Conexiones dinámicas Las propiedades del servicio vinculado pueden ser dinámicas mediante parámetros Las propiedades de conexión no admiten propiedades dinámicas, pero las actividades de canalización pueden usar contenido dinámico para objetos de conexión En el caso de las soluciones basadas en arquitectura controlada por metadatos que se basan en conexiones con parámetros, parametrice el objeto de conexión en Fabric.
parámetros globales Parámetros globales Fabric Biblioteca de variables Hay diferentes patrones de implementación y tipos de datos, aunque tenemos una guía de migración.
Actividades de HDInsight Cinco actividades independientes (Hive, Pig, MapReduce, Spark, Streaming) Actividad de HDInsight única Solo necesita un tipo de actividad al convertir datos, pero toda la funcionalidad está soportada.
Identidad Identidad administrada Fabric Workspace Identity Diferentes modelos de identidad, con algún planeamiento necesario para cambiar.
Key Vault Integración madura con todos los tipos de autenticación Integración limitada a través de Fabric Key Vault Reference Compare las fuentes y métodos de autenticación de Key Vault actualmente compatibles con las configuraciones existentes.
Ejecución de canalización Ejecución de la actividad de canalización Invocar la actividad de la canalización con el tipo de conexión FabricDataPipeline Los requisitos de nombre de actividad y conexión cambian al convertir.
Scheduling Un desencadenador para muchas canalizaciones o muchos desencadenadores por canalización con administración centralizada Una programación por canalización o muchas programaciones por canalización sin reutilización de programación ni centro central Fabric requiere actualmente la gestión de programación por pipeline.

Rutas de migración:

Las rutas de migración dependen de los recursos de ADF y su paridad de funcionalidad. Entre las opciones se incluyen:

Los elementos de Azure Data Factory en el área de trabajo de Fabric

Agregar una instancia de ADF existente en el área de trabajo de Fabric proporciona visibilidad y gobernanza inmediatas mientras se migra de forma incremental. Es ideal para la detección, la asignación de propiedad y las pruebas en paralelo, ya que los equipos pueden ver canalizaciones, organizarlas en áreas de trabajo de Fabric y planear los recortes por dominio. Use elementos de Azure Data Factory para catalogar lo que existe, priorizar primero las canalizaciones de mayor valor y menor riesgo y establecer convenciones (nomenclatura, carpetas, reutilización de conexiones) que los scripts de conversión y las herramientas de asociados puedan seguir consistentemente.

El montaje en Fabric se logra a través del tipo de elemento Azure Data Factory: Lleva tu Azure Data Factory a Fabric.

Actualización de canalizaciones de Azure Data Factory mediante la experiencia de migración incorporada

Fabric proporciona una experiencia de actualización integrada y de primera evaluación que permite evaluar y migrar canalizaciones de Azure Data Factory directamente a través de las experiencias de usuario de Azure Data Factory y Fabric, sin scripts ni herramientas personalizadas. Esta experiencia le ayuda a:

  • Evalúe la disponibilidad de la canalización y las actividades directamente en Azure Data Factory.
  • Comprender las brechas de compatibilidad antes de la migración.
  • Monte el Azure Data Factory en un área de trabajo de Fabric para su revisión en paralelo.
  • Migre canalizaciones admitidas de forma incremental a Fabric desde su fábrica de datos montada.
  • Planee la remediación o el rediseño de los elementos que requieren actualizaciones o que estarán disponibles próximamente.

Cada canalización y actividad se clasifican claramente (Listo, Necesita revisión, Próximamente o No compatible), lo que ayuda a los equipos a planear las migraciones intencionadamente y validar los resultados antes de cambiar las cargas de trabajo de producción. Este enfoque es adecuado para los clientes que desean una ruta de migración guiada, de bajo riesgo e incremental, al tiempo que mantienen la visibilidad de las características no admitidas y los pasos siguientes. Para obtener instrucciones paso a paso, consulte Upgrade las canalizaciones de Azure Data Factory a Fabric

Migración manual

La migración manual es necesaria para canalizaciones complejas con baja paridad, pero también es una oportunidad para modernizar la arquitectura y adoptar las características integradas de Fabric. Esta ruta requiere un planeamiento y desarrollo iniciales más iniciales, pero puede producir ventajas a largo plazo en la capacidad de mantenimiento, el rendimiento y el costo.

Para migrar de forma eficaz, siga estos pasos:

  1. Evaluación e inventario: cataloge todos los recursos de ADF, incluidas las canalizaciones, los conjuntos de datos, los servicios vinculados y los entornos de ejecución de integración. Identifique las dependencias y los patrones de uso.
  2. Identificar duplicados y elementos sin usar: limpie los elementos sin usar o redundantes en ADF para simplificar la migración y el entorno de integración de datos.
  3. Identify gaps: Use la herramienta de evaluación de migración y revise la paridad de conectores y paridad de actividades para identificar brechas entre las canalizaciones de ADF y las canalizaciones de Fabric y planificar alternativas.
  4. Review nuevas características: Use nuestra guía de decisión de movimiento de datos y guía de decisión de integración de datos para decidir qué herramientas de Fabric funcionarán mejor para sus necesidades.
  5. Plan: revise las prácticas recomendadas de migración para conocer las consideraciones de cada uno de los elementos y directrices para aprovechar las funcionalidades mejoradas de Fabric.
  6. Si usa parámetros globales en ADF, planee migrarlos a bibliotecas de variables de Fabric. Consulte Convertir parámetros globales de ADF a librerías de variables de Fabric para obtener instrucciones detalladas.
  7. ADF transition: Considere la posibilidad de agregar un elemento de Azure Data Factory en Microsoft Fabric como primer paso en la migración, lo que permite la transición gradual en una sola plataforma.
  8. Prioridad: clasifique las canalizaciones en función del impacto empresarial, la complejidad y la facilidad de migración.
  9. Automatice tanto como pueda: utilice la experiencia integrada de actualización para evaluar, migrar y validar canalizaciones incrementalmente antes de mover cargas de trabajo de producción. Para obtener más información, consulte la herramienta Actualización.
  10. Considere las herramientas: use estas herramientas para facilitar la recreación:
  11. Migración manual: Para escenarios no admitidos por otros métodos de migración, reconstruirlos en Fabric:
    1. Recrear conexiones: Configure conexiones en Fabric para reemplazar Servicios Vinculados en ADF
    2. Recrear actividades: Configura tus actividades en tus canalizaciones, reemplazando actividades no compatibles con alternativas de Fabric o mediante la actividad de canalización Invoke
    3. Programar y establecer desencadenadores: Reconstruir las programaciones y los desencadenadores de eventos en Fabric para que coincidan con las programaciones de ADF
  12. Prueba exhaustiva: valide las canalizaciones migradas con las salidas esperadas, los puntos de referencia de rendimiento y los requisitos de cumplimiento.

Escenarios de migración de ejemplo

Pasar de ADF a Fabric puede implicar diferentes estrategias en función de su caso de uso. En esta sección se describen las rutas de migración comunes y las consideraciones que le ayudarán a planear de forma eficaz.

Escenario 1: canalizaciones y flujos de datos de ADF

Modernice el entorno de ETL moviendo canalizaciones y flujos de datos a Fabric. Planee estos elementos:

  • Recrear servicios vinculados como conexiones
  • Recrear parámetros globales como bibliotecas de variables
  • Defina las propiedades del conjunto de datos en línea en las actividades de canalización
  • Reemplace SHIR (entornos de ejecución de integración autohospedados) por OPDG (puertas de enlace de datos locales) e IRs de red virtual por puertas de enlace de datos de red virtual.
  • Reconstruir actividades de ADF no admitidas utilizando alternativas de Fabric o la actividad de invocar canalización. Las actividades no admitidas incluyen:
    • Data Lake Analytics (U-SQL), un servicio de Azure en desuso
    • Actividad de validación, que se puede volver a generar mediante obtener metadatos, bucles de canalización y actividades If
    • Power Query, que está totalmente integrado en Fabric como flujos de datos donde se puede reutilizar el código M
    • Las actividades notebook, Jar y Python se pueden reemplazar por la actividad de Databricks en Fabric
    • Las actividades de Hive, Pig, MapReduce, Spark y Streaming se pueden reemplazar por la actividad de HDInsight en Fabric

Por ejemplo, esta es la página de configuración del conjunto de datos de ADF, con su ruta de acceso de archivo y la configuración de compresión:

Captura de pantalla de la página de configuración del conjunto de datos de ADF.

Y este es un actividad de copia para Data Factory en Fabric, donde la compresión y la ruta de acceso del archivo están especificadas en la actividad:

Captura de pantalla de la configuración de compresión de la actividad Fabric Copy.

Escenario 2: ADF con CDC, SSIS y Airflow

Vuelva a crear CDC como Tarea de copia. Para Airflow, copie sus DAG en la oferta de Apache Airflow de Fabric. Ejecute paquetes SSIS mediante canalizaciones de ADF y llámelos desde Fabric.

Escenario 3: Actualización de canalización mediante la experiencia de migración integrada

Esta experiencia guiada, centrada en la evaluación, le permite evaluar el nivel de preparación, identificar las brechas de compatibilidad y migrar canalizaciones admitidas de forma incremental a un área de trabajo de Fabric, sin necesidad de scripts. Para obtener más información, consulte Actualice las canalizaciones de Azure Data Factory a Fabric.

Escenario 4: Elementos de ADF en un área de trabajo de Fabric

Puede agregar una fábrica completa de ADF en un área de trabajo de Fabric como un elemento nativo. Esto le permite administrar fábricas de ADF junto con los artefactos de Fabric dentro de la misma interfaz. La interfaz de usuario de ADF sigue siendo totalmente accesible, lo que le permite supervisar, administrar y editar los elementos de fábrica de ADF directamente desde el área de trabajo de Fabric. Sin embargo, la ejecución de canalizaciones, actividades y entornos de ejecución de integración todavía ocurre dentro de los recursos de Azure.

Esta característica es útil para las organizaciones que pasan a Fabric, ya que proporciona una vista unificada de los recursos de ADF y Fabric, lo que simplifica la administración y el planeamiento de la migración.

Para obtener más información, consulte Bring your Azure Data Factory into Fabric.

Contenido relacionado

  • Last updated on