Delen via


Migratieplanning voor Azure Data Factory naar Fabric Data Factory

Microsoft Fabric combineert de analysehulpprogramma's van Microsoft in één SaaS-platform. Het biedt sterke mogelijkheden voor werkstroomindeling, gegevensverplaatsing, replicatie en transformatie op schaal. Fabric Data Factory biedt een SaaS-omgeving die voortbouwt op Azure Data Factory (ADF) PaaS via verbeteringen en extra functionaliteit, waardoor Fabric Data Factory de perfecte modernisering van uw bestaande oplossingen voor gegevensintegratie biedt.

In deze handleiding ziet u migratiestrategieën, overwegingen en benaderingen waarmee u kunt overstappen van Azure Data Factory naar Fabric Data Factory.

Voordelen van migratie

Migreren van ADF- en Synapse-pijplijnen naar Fabric Data Factory is meer dan een lift-and-shift: het is een mogelijkheid om governance te vereenvoudigen, patronen te standaardiseren en de geavanceerde functies van Fabric Data Factory te gebruiken om uw strategie voor gegevensintegratie te verbeteren.

Fabric biedt veel nieuwe functies, waaronder:

Zie the Azure Data Factory and Fabric Data Factory comparison guide voor een gedetailleerde vergelijking.

Kritieke architectuurverschillen

Voordat u migreert van Azure Data Factory naar Fabric Data Factory, moet u rekening houden met deze kritieke architectuurverschillen die meestal het grootste effect hebben op migratieplanning:

Categorie Azure Data Factory Fabric Data Factory Gevolgen voor migratie
Aangepaste code Aangepaste activiteit Azure Batch activiteit De naam van de activiteit verschilt, maar ondersteunt dezelfde functionaliteit.
Dataflows Mappinggegevensstromen (Spark-gebaseerd) Dataflow Gen2 (Power Query engine) met snelle kopie en meerdere bestemmingen Verschillende transformatie-engines en -mogelijkheden. Raadpleeg onze guide to dataflows for Mapping Gegevensstroom users voor meer informatie.
Gegevenssets Afzonderlijke, herbruikbare gegevenssetobjecten Eigenschappen worden inline gedefinieerd binnen activiteiten Wanneer u converteert van ADF naar Fabric, bevindt gegevenssetgegevens zich binnen elke activiteit.
Dynamische verbindingen Eigenschappen van gekoppelde services kunnen dynamisch zijn met behulp van parameters Verbindingseigenschappen bieden geen ondersteuning voor dynamische eigenschappen, maar pijplijnactiviteiten kunnen dynamische inhoud gebruiken voor verbindingsobjecten Voor op metagegevens gebaseerde architectuuroplossingen die afhankelijk zijn van geparameteriseerde verbindingen, parameteriseren van het verbindingsobject in Fabric.
globale parameters Globale parameters Fabric Variable Library Verschillende implementatiepatronen en gegevenstypen, hoewel we een migratiehandleiding hebben.
HDInsight-activiteiten Vijf afzonderlijke activiteiten (Hive, Pig, MapReduce, Spark, Streaming) Eén HDInsight-activiteit U hebt slechts één activiteitstype nodig bij het converteren, maar alle functionaliteit wordt ondersteund.
Identiteit Beheerde identiteit Fabric Werkruimte-identiteit Verschillende identiteitsmodellen, met een planning die nodig is om te veranderen.
Key Vault Geavanceerde integratie met alle verificatietypen Beperkte integratie via Fabric Key Vault Reference Vergelijk momenteel ondersteunde Key Vault bronnen en verificatie met uw bestaande configuraties.
Pijplijnuitvoering Pijplijnactiviteit uitvoeren Pijplijnactiviteit aanroepen met het verbindingstype FabricDataPipeline De naam van de activiteit en de verbindingsvereisten worden gewijzigd bij het converteren.
Scheduling Eén trigger voor veel pijplijnen of veel triggers per pijplijn met gecentraliseerd beheer Eén planning per pijplijn of veel planningen per pijplijn zonder hergebruik of centrale hub Fabric vereist momenteel beheer van planning per pijplijn.

Migratiepaden

Migratiepaden zijn afhankelijk van uw ADF-assets en hun functiepariteit. De volgende opties zijn beschikbaar:

  • Azure Data Factory-elementen in Fabric voor continuïteit. - Een liveweergave van uw bestaande Azure Data Factory exemplaar binnen Fabric, waardoor geleidelijke migratie en testen mogelijk zijn. Dit is ook een goede eerste stap voordat u conversiehulpprogramma's gebruikt of een herplatformingsproces uitvoert.
  • Gebruik de ingebouwde upgrade-ervaring voor Azure Data Factory pijplijnen : evalueer de gereedheid van pijplijnen rechtstreeks in Azure Data Factory, bekijk de compatibiliteitsresultaten en migreer ondersteunde pijplijnen naar een Fabric werkruimte met behulp van een begeleide UX.
  • Handmatige migratie voor complexe omgevingen - Herbouw pijpleidingen in Fabric om nieuwe functies te benutten en de prestaties te optimaliseren. Dit is nodig voor pijplijnen met lage pariteit of aangepaste logica, maar het is ook een mogelijkheid om uw architectuur te moderniseren.

Azure Data Factory items in uw Fabric werkruimte

Door een bestaande ADF aan uw Fabric-werkruimte toe te voegen krijgt u onmiddellijk zichtbaarheid en governance terwijl u stapsgewijs migreert. Het is ideaal voor detectie, toewijzing van eigendom en parallel testen, omdat teams pijplijnen kunnen zien, deze kunnen organiseren binnen Fabric-werkruimtes en cutovers per domein kunnen plannen. Gebruik Azure Data Factory items om te catalogiseren wat er bestaat, prioriteit te geven aan de pijplijnen met het hoogste waarde/laagste risico en om conventies (naamgeving, mappen, opnieuw gebruiken van verbindingen) vast te stellen die uw conversiescripts en partnerhulpprogramma's consistent kunnen volgen.

Installatie in Fabric gebeurt via het Azure Data Factory-itemtype: Bring your Azure Data Factory to Fabric.

Upgrade Azure Data Factory pijplijnen met behulp van de ingebouwde migratie-ervaring

Fabric biedt een ingebouwde, evaluatie-eerste upgrade-ervaring waarmee u Azure Data Factory pijplijnen rechtstreeks kunt evalueren en migreren via de Azure Data Factory en Fabric gebruikerservaringen, zonder scripts of aangepaste hulpprogramma's. Deze ervaring helpt u bij het volgende:

  • Evalueer de gereedheid van pijplijnen en activiteiten rechtstreeks in Azure Data Factory.
  • Inzicht in compatibiliteitsproblemen vóór de migratie.
  • Koppel uw Azure Data Factory aan een Fabric-werkruimte voor een vergelijking naast elkaar.
  • Migreer ondersteunde pijplijnen stapsgewijs naar Fabric vanuit uw gekoppelde gegevensfactory.
  • Plan herstel of herontwerpen voor items die updates vereisen of binnenkort komen.

Elke pijplijn en activiteit zijn duidelijk gecategoriseerd (gereed, behoeftenbeoordeling, binnenkort beschikbaar of niet compatibel), zodat teams opzettelijk migraties kunnen plannen en resultaten kunnen valideren voordat ze overschakelen naar productieworkloads. Deze aanpak is geschikt voor klanten die een begeleid, laag risico- en incrementeel migratiepad willen, terwijl de zichtbaarheid van niet-ondersteunde functies en volgende stappen behouden blijft. Zie voor stapsgewijze begeleiding Upgrade your Azure Data Factory pipelines to Fabric

Handmatige migratie

Handmatige migratie is nodig voor complexe pijplijnen met lage pariteit, maar het is ook een kans om uw architectuur te moderniseren en de geïntegreerde functies van Fabric te gebruiken. Dit pad vereist meer planning en ontwikkeling vooraf, maar kan langetermijnvoordelen opleveren in onderhoudbaarheid, prestaties en kosten.

Voer de volgende stappen uit om effectief te migreren:

  1. Evalueren en inventariseren: Catalogiseer alle ADF-assets, waaronder pijplijnen, datasets, gekoppelde services en integratie-runtimes. Afhankelijkheden en gebruikspatronen identificeren.
  2. Duplicaten en ongebruikte items identificeren: verwijder ongebruikte of redundante items in ADF om de migratie en uw gegevensintegratieomgeving te stroomlijnen.
  3. Hiaten identificeren: Gebruik het migratiebeoordelingshulpmiddel en bekijk connector-pariteit en activiteit-pariteit om hiaten tussen uw ADF-pijplijnen en Fabric-pijplijnen te identificeren en alternatieven te plannen.
  4. Nieuwe functies bekijken: Gebruik onze handleiding voor data movement decision guide en data integration decision guide om te bepalen welke Fabric hulpprogramma's het beste werken voor uw behoeften.
  5. Plan: bekijk de beste praktijken voor migratie met overwegingen bij elk van uw items en richtlijnen voor het optimaal benutten van de geavanceerde mogelijkheden van Fabric.
  6. Als u globale parameters in ADF gebruikt, wilt u deze migreren naar Fabric variabelenbibliotheken. Zie Converteer ADF globale parameters naar Fabric-variabelenbibliotheken voor gedetailleerde stappen.
  7. ADF-overgang: Overweeg een Azure Data Factory-item in Microsoft Fabric als eerste stap in de migratie, waardoor een geleidelijke overgang in één platform mogelijk is.
  8. Prioriteit: Rangschik uw pijplijnen op basis van bedrijfsimpact, complexiteit en eenvoudigere migratie.
  9. Automatiseer waar u kunt: Gebruik de ingebouwde upgrade-ervaring om pijplijnen stapsgewijs te evalueren, migreren en valideren voordat u productieworkloads verplaatst. Zie het hulpprogramma Upgrade voor meer informatie.
  10. Overweeg hulpprogramma's: gebruik deze hulpmiddelen om recreatie gemakkelijker te maken:
  11. Manual migration: Voor scenario's die niet worden ondersteund door andere migratiemethoden, bouwt u deze opnieuw op in Fabric:
    1. Verbindingen opnieuw maken: Stel Verbindingen in Fabric in om Gekoppelde Services in ADF te vervangen
    2. Activiteiten opnieuw maken: Stel uw activiteiten in in uw pijplijnen, waarbij u niet-ondersteunde activiteiten vervangt door Fabric-alternatieven of gebruik de activiteit Pijplijn aanroepen
    3. Plannen en triggers instellen: Herbouw planningen en gebeurtenistriggers in Fabric om overeen te komen met je ADF-planningen
  12. Grondig testen: gemigreerde pijplijnen valideren op basis van verwachte uitvoer, prestatiebenchmarks en nalevingsvereisten.

Voorbeeldmigratiescenario's

Overstappen van ADF naar Fabric kan verschillende strategieën omvatten, afhankelijk van uw use-case. In deze sectie worden algemene migratiepaden en overwegingen beschreven om u te helpen effectief te plannen.

Scenario 1: ADF-pijplijnen en gegevensstromen

Moderniseer uw ETL-omgeving door pijplijnen en gegevensstromen naar Fabric te verplaatsen. Plan deze elementen:

  • Gekoppelde diensten hercreëren als verbindingen
  • Globale parameters opnieuw maken als variabelenbibliotheken
  • Gegevensseteigenschappen inline definiëren in pijplijnactiviteiten
  • VERVANG SHIRs (zelf-gehoste integratieruntimes) door OPDGs (on-premises gegevensgateways) en VNet IRs door Virtuele Netwerkgegevensgateways
  • Bouw niet-ondersteunde ADF-activiteiten opnieuw met behulp van Fabric-alternatieven of de activiteit 'Pijplijn aanroepen'. Niet-ondersteunde activiteiten zijn onder andere:
    • Data Lake Analytics (U-SQL), een afgeschafte Azure-service
    • Validatieactiviteit, die opnieuw kan worden opgebouwd met behulp van Get Metadata, pijplijnlussen en If-activiteiten
    • Power Query, die volledig is geïntegreerd in Fabric als gegevensstromen waar M-code opnieuw kan worden gebruikt
    • Notebook-, Jar- en Python-activiteiten kunnen worden vervangen door de Databricks-activiteit in Fabric
    • Hive-, Pig-, MapReduce-, Spark- en Streaming-activiteiten kunnen worden vervangen door de HDInsight-activiteit in Fabric

Hier ziet u bijvoorbeeld de configuratiepagina van de ADF-gegevensset, met de bestandspad- en compressie-instellingen:

Schermopname van de configuratiepagina van de ADF-gegevensset.

En hier is een kopieeractiviteit voor Data Factory in Fabric, waarbij compressie en bestandspad inline zijn in de activiteit:

Schermopname van de Fabric Copy-activiteit-compressieconfiguratie.

Scenario 2: ADF met CDC, SSIS en Airflow

Maak CDC opnieuw als taakitems kopiëren . Kopieer voor Airflow uw DAG's naar Fabric Apache Airflow-aanbieding. Voer SSIS-pakketten uit met behulp van ADF-pijplijnen en roep ze aan vanuit Fabric.

Scenario 3: Pijplijnupgrade met behulp van de ingebouwde migratie-ervaring

Met deze begeleide, evaluatie-eerste ervaring kunt u gereedheid evalueren, compatibiliteitsproblemen identificeren en ondersteunde pijplijnen incrementeel migreren naar een Fabric werkruimte, allemaal zonder scripts. Zie Upgrade your Azure Data Factory pipelines to Fabric voor meer informatie.

Scenario 4: ADF-items in een Fabric-werkruimte

U kunt een volledige ADF Factory toevoegen in een Fabric werkruimte als een integraal onderdeel. Hiermee kunt u ADF-factory's naast Fabric artefacten binnen dezelfde interface beheren. De ADF-gebruikersinterface blijft volledig toegankelijk, zodat u uw ADF-factory-items rechtstreeks vanuit de Fabric werkruimte kunt bewaken, beheren en bewerken. De uitvoering van pijplijnen, activiteiten en integratieruntimes vindt echter nog steeds plaats binnen uw Azure-bronnen.

Deze functie is handig voor organisaties die overstappen naar Fabric, omdat deze een uniforme weergave biedt van zowel ADF- als Fabric resources, waardoor het beheer en de planning voor migratie wordt vereenvoudigd.

Zie Bring your Azure Data Factory into Fabric voor meer informatie.