Udostępnij za pośrednictwem


Co to są przepływy danych?

Wskazówka

Wypróbuj Dataflow Gen2 w Data Factory w usłudze Microsoft Fabric, rozwiązaniu analitycznym typu all-in-one dla przedsiębiorstw. Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Przepływy danych to samoobsługowa, oparta na chmurze technologia przygotowywania danych. Przepływy danych umożliwiają klientom pozyskiwanie, przekształcanie i ładowanie danych do środowisk Microsoft Dataverse, obszarów roboczych Power BI lub konta Azure Data Lake Storage organizacji. Przepływy danych są tworzone przy użyciu Power Query, ujednoliconego środowiska do łączenia i przygotowania danych, już dostępnego w wielu produktach Microsoft, w tym Excel i Power BI. Klienci mogą wyzwalać przepływy danych, aby uruchamiać je na żądanie lub automatycznie zgodnie z harmonogramem; dane są zawsze aktualne.

Przepływy danych można tworzyć w wielu produktach Microsoft

Przepływy danych są opisywane w wielu produktach Microsoft i nie wymagają utworzenia ani uruchomienia licencji specyficznej dla przepływu danych. Przepływy danych są dostępne w usługach Power Apps, Power BI i Dynamics 365 Customer Insights. Możliwość tworzenia i uruchamiania przepływów danych jest wiązana z licencjami tych produktów. Funkcje przepływu danych są najczęściej spotykane we wszystkich produktach, w których się znajdują, ale niektóre funkcje specyficzne dla produktu mogą istnieć w przepływach danych utworzonych w jednym produkcie a innym.

Jak działa przepływ danych?

Diagram przedstawiający sposób działania przepływów danych z danych źródłowych do procesu przekształcania, a następnie do magazynu.

Na poprzedniej ilustracji przedstawiono ogólny widok sposobu definiowania przepływu danych. Przepływ danych pobiera dane z różnych źródeł danych (obsługiwane jest już ponad 80 źródeł danych). Następnie na podstawie przekształceń skonfigurowanych przy użyciu środowiska do tworzenia Power Query przepływ danych przekształca dane przy użyciu silnika przepływu danych. Na koniec dane są ładowane do miejsca docelowego danych wyjściowych, które może być środowiskiem Microsoft Power Platform, obszarem roboczym Power BI lub kontem Azure Data Lake Storage organizacji.

Przepływy danych działają w chmurze

Przepływy danych są oparte na chmurze. Po utworzeniu i zapisaniu przepływu danych jego definicja jest przechowywana w chmurze. Przepływ danych działa również w chmurze. Jeśli jednak źródło danych jest lokalne, lokalna brama danych może służyć do wyodrębniania danych do chmury. Po wyzwoleniu przebiegu przepływu danych transformacja i obliczenia danych odbywa się w chmurze, a miejsce docelowe jest zawsze w chmurze.

Diagram przedstawiający sposób uruchamiania przepływów danych w chmurze, zaczynając od źródła danych, poprzez przepływ danych działający w chmurze, a kończąc na magazynie danych.

Przepływy danych korzystają z zaawansowanego silnika przekształceń

Power Query jest aparatem przekształcania danych używanym w przepływie danych. Ten silnik jest wystarczająco wydajny do obsługi wielu zaawansowanych przekształceń. Używa również prostego, ale zaawansowanego graficznego interfejsu użytkownika o nazwie Power Query editor. Przy użyciu przepływów danych w tym edytorze można szybciej i łatwiej opracowywać rozwiązania do integracji danych.

Zrzut ekranu przedstawiający przykład transformacji Power Query.

Integracja przepływu danych z Microsoft Power Platform i Dynamics 365

Ponieważ przepływ danych przechowuje wynikowe tabele w magazynie w chmurze, inne usługi mogą wchodzić w interakcje z danymi generowanymi przez przepływy danych.

Diagram sposobu integrowania przepływu danych z Microsoft Power Platform i Dynamics 365.

Na przykład aplikacje Power BI, Power Apps, Power Automate, Power Virtual Agents i Dynamics 365 mogą pobierać dane generowane przez przepływ danych, łącząc się z usługą Dataverse, łącznikiem przepływu danych platformy Power Platform lub bezpośrednio za pośrednictwem usługi Lake, w zależności od miejsca docelowego skonfigurowanego w czasie tworzenia przepływu danych.

Zalety przepływów danych

Na poniższej liście przedstawiono niektóre korzyści wynikające z używania przepływów danych:

  • Przepływ danych rozdziela warstwę przekształcania danych z warstwy modelowania i wizualizacji w rozwiązaniu Power BI.

  • Kod przekształcania danych może znajdować się w centralnej lokalizacji, przepływie danych, a nie rozdzielać go między wiele artefaktów.

  • Twórca przepływu danych potrzebuje tylko swoich umiejętności Power Query. W środowisku z wieloma twórcami twórca przepływu danych może być częścią zespołu, który razem tworzy całe rozwiązanie analizy biznesowej lub aplikację operacyjną.

  • Przepływ danych jest niezależny od produktu. Nie jest to tylko składnik Power BI; można pobrać jego dane w innych narzędziach i usługach.

  • Przepływy danych korzystają z Power Query, zaawansowanego, graficznego, samoobsługowego środowiska przekształcania danych.

  • Przepływy danych działają w całości w chmurze. Nie jest wymagana dodatkowa infrastruktura.

  • Istnieje wiele opcji rozpoczynania pracy z przepływami danych przy użyciu licencji na Power Apps, Power BI i Customer Insights.

  • Chociaż przepływy danych są w stanie wykonać zaawansowane przekształcenia, są one zaprojektowane pod kątem scenariuszy samoobsługi i nie wymagają żadnych środowisk IT ani deweloperów.

Scenariusze przypadków użycia dla przepływów danych

Przepływy danych można używać do wielu celów. W poniższych scenariuszach przedstawiono kilka przykładów typowych przypadków użycia przepływów danych.

Migracja danych ze starszych systemów

W tym scenariuszu organizacja decyduje się użyć Power Apps dla nowego środowiska interfejsu użytkownika, a nie starszego systemu lokalnego. Power Apps, Power Automate i AI Builder wszystkie używają usługi Dataverse jako podstawowego systemu magazynu danych. Bieżące dane w istniejącym systemie lokalnym można migrować do usługi Dataverse przy użyciu przepływu danych, a następnie te produkty mogą używać tych danych.

Tworzenie magazynu danych przy użyciu przepływów danych

Przepływy danych można użyć jako zamiennika innych narzędzi wyodrębniania, przekształcania, ładowania (ETL) w celu utworzenia magazynu danych. W tym scenariuszu, inżynierowie danych firmy postanawiają użyć przepływów danych do utworzenia magazynu danych w oparciu o schemat gwiazdy, w tym tabel faktów i wymiarów w ramach Data Lake Storage. Następnie Power BI służy do generowania raportów i pulpitów nawigacyjnych poprzez pobieranie danych z przepływów danych.

Diagram przedstawiający sposób tworzenia magazynu danych przy użyciu przepływów danych.

Tworzenie modelu wymiarowego przy użyciu przepływów danych

W celu utworzenia modelu wymiarowego można użyć przepływów danych jako zamiennika innych narzędzi ETL. Na przykład inżynierowie danych firmy decydują się na użycie przepływów danych do utworzenia modelu wymiarowego zaprojektowanego przez schemat gwiazdy, w tym tabel faktów i wymiarów w Azure Data Lake Storage Gen2. Następnie Power BI jest używane do generowania raportów i dashboardów, oferując dostęp do danych z przepływów danych.

Diagram przedstawiający sposób tworzenia modelu wymiarowego przy użyciu przepływów danych.

Scentralizowanie przygotowywania i ponownego używania modeli semantycznych w wielu rozwiązaniach Power BI

Jeśli wiele rozwiązań Power BI używa tej samej przekształconej wersji tabeli, proces tworzenia tabeli jest powtarzany wiele razy. Zwiększa to obciążenie systemu źródłowego, zużywa więcej zasobów i tworzy zduplikowane dane z wieloma punktami awarii. Zamiast tego można utworzyć pojedynczy przepływ danych w celu obliczenia danych dla wszystkich rozwiązań. Power BI następnie może ponownie wykorzystać wynik transformacji we wszystkich rozwiązaniach. Przepływ danych, jeśli jest używany w taki sposób, może być częścią niezawodnej architektury implementacji Power BI, która pozwala uniknąć duplikatów kodu Power Query i zmniejszyć koszty konserwacji warstwy integracji danych.

Diagram przedstawiający sposób ponownego użycia tabel w wielu rozwiązaniach.