Tworzenie połączenia danych usługi Event Hubs dla Azure Data Explorer

Wymagania wstępne

• Konto Microsoft lub tożsamość użytkownika Microsoft Entra. Subskrypcja Azure nie jest wymagana.
• Klaster i baza danych Azure Data Explorer. Utwórz klaster i bazę danych.
• Ingestowanie danych strumieniowych musi być skonfigurowane w klastrze Azure Data Explorer.

Pobierz dane

1. W menu po lewej stronie wybierz pozycję Zapytanie.

2. Kliknij prawym przyciskiem myszy bazę danych, w której chcesz pozyskać dane. Wybierz Pobierz dane.

   

Źródło

W oknie Pobieranie danych zostanie wybrana karta Źródło.

Wybierz źródło danych z listy dostępnych. W tym przykładzie pozyskujesz dane z usługi Event Hubs.

Konfiguruj

1. Wybierz docelową bazę danych i tabelę. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję + Nowa tabela i wprowadź nazwę tabeli.

   Uwaga

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

   

2. Wypełnij następujące pola:

   Ustawienie	Opis pola
   Subskrypcja	Identyfikator subskrypcji, w której znajduje się zasób centrum zdarzeń.
   Przestrzeń nazw centrum zdarzeń	Nazwa identyfikująca przestrzeń nazw.
   Centrum zdarzeń	Centrum zdarzeń, które chcesz
   Grupa konsumentów	Grupa odbiorców zdefiniowana w zdarzeniu
   Nazwa połączenia danych	Nazwa identyfikująca połączenie danych.
   Filtry zaawansowane
   Kompresja	Typ kompresji ładunku komunikatów centrum zdarzeń.
   Właściwości systemu zdarzeń	Właściwości systemu centrum zdarzeń. Jeśli dla wiadomości zdarzenia istnieje wiele rekordów, właściwości systemu są dodawane do pierwszego rekordu. Podczas dodawania właściwości systemu utwórz lub zaktualizuj schemat tabeli i mapowanie , aby uwzględnić wybrane właściwości.
   Data rozpoczęcia pobierania zdarzeń	Połączenie danych pobiera istniejące zdarzenia usługi Event Hubs utworzone po dacie rozpoczęcia pobierania zdarzeń. Można pobrać tylko zdarzenia przechowywane przez okres przechowywania usługi Event Hubs. Jeśli data rozpoczęcia pobierania zdarzeń nie jest określona, domyślny czas to czas utworzenia połączenia danych.

3. Wybierz Dalej

Inspekcja

Zakładka Inspekcja otwiera się z podglądem danych.

Aby ukończyć proces pozyskiwania, kliknij Zakończ.

Opcjonalnie:

• Jeśli dane widoczne w oknie podglądu nie są kompletne, może być konieczne utworzenie tabeli ze wszystkimi niezbędnymi polami danych. Użyj następujących poleceń, aby pobrać nowe dane z centrum zdarzeń:

  • Odrzuć i pobierz nowe dane: odrzuca prezentowane dane i wyszukuje nowe zdarzenia.

  • Pobierz więcej danych: wyszukuje więcej zdarzeń oprócz znalezionych już zdarzeń.

    Uwaga

    Aby wyświetlić podgląd danych, centrum zdarzeń musi wysyłać zdarzenia.

• Wybierz pozycję Przeglądarka poleceń, aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.

• Użyj listy rozwijanej Plik definicji schematu, aby zmienić plik, z którego jest wywnioskowany schemat.

• Zmień automatycznie wnioskowany format danych, wybierając żądany format z listy rozwijanej. Zobacz formaty danych obsługiwane przez Azure Data Explorer do importu.

• Edytuj kolumny.

• Zapoznaj się z opcjami zaawansowanymi na podstawie typu danych.

Edytuj kolumny

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

• Typ tabeli jest nowy lub istniejący
• Typ mapowania to nowy lub istniejący

Przekształcenia mapowania

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste przekształcenia podczas ładowania danych. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytowanie kolumn .

Przekształcenia mapowania można wykonać na kolumnie typu ciąg lub data/godzina, a źródło ma typ danych int lub long. Obsługiwane przekształcenia mapowania to:

• DateTimeFromUnixSeconds (DataCzasZUnixSekundy)
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds (Data i czas z mikrosekund Unix)
• DateTimeFromUnixNanoseconds

Opcje zaawansowane oparte na typie danych

Formaty tabelaryczne (CSV, TSV, PSV):

• Jeśli importujesz formaty tabelaryczne w istniejącej tabeli, możesz wybrać z listy rozwijanej mapowania tabeli i wybrać pozycję Użyj istniejącego mapowania. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam.

• W przeciwnym razie utwórz nowe mapowanie.

• Aby użyć pierwszego wiersza jako nazw kolumn, wybierz pozycję Nagłówek pierwszego wiersza.

  

JSON:

• Aby określić podział kolumn danych JSON, wybierz Poziomy zagnieżdżenia, które mogą być w zakresie od 1 do 100.

Podsumowanie

W oknie Przygotowywanie danych wszystkie trzy kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym zakończeniu pozyskiwania danych. Możesz wyświetlić polecenia, które zostały użyte dla każdego kroku, lub wybrać kartę do wykonywania zapytań, wizualizowania lub porzucania pozyskanych danych.

Wymagania wstępne

• Subskrypcja Azure. Utwórz konto free Azure.
• Klaster i baza danych Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie ingestowania dla tabeli.
• Centrum zdarzeń z danymi do przetwarzania.

Pobierz dane

1. W portalu Azure przejdź do klastra i wybierz pozycję Bazy danych. Następnie wybierz bazę danych zawierającą tabelę docelową.

   

2. W menu po lewej stronie wybierz pozycję Pozyskiwanie danych. Następnie na górnym pasku wybierz pozycję Dodaj połączenie danych.

3. Wypełnij formularz następującymi informacjami, a następnie wybierz pozycję Utwórz.

   Ustawienie	Sugerowana wartość	Opis pola
   Nazwa połączenia danych	testuj-połączenie-z-hubem	Nazwa połączenia, które chcesz utworzyć w Azure Data Explorer.
   Subskrypcja		Identyfikator subskrypcji, w której znajduje się zasób centrum zdarzeń.
   Przestrzeń nazw centrum zdarzeń	Unikatowa nazwa przestrzeni nazw	Wybrana wcześniej nazwa, która identyfikuje Twoją przestrzeń nazw.
   Centrum zdarzeń	test-hub	Utworzone przez Ciebie centrum zdarzeń.
   Grupa konsumentów	grupa testowa	Grupa konsumentów zdefiniowana w utworzonym przez Ciebie centrum zdarzeń.
   Właściwości systemu zdarzeń	Wybierz odpowiednie właściwości	Właściwości systemu centrum zdarzeń. Jeśli istnieje wiele rekordów na komunikat zdarzenia, właściwości systemu są dodawane do pierwszego rekordu. Podczas dodawania właściwości systemu utwórz lub zaktualizuj schemat tabeli i mapowanie , aby uwzględnić wybrane właściwości.
   Kompresja	Brak	Typ kompresji ładunku wiadomości w Event Hub. Obsługiwane typy kompresji: None, gzip.
   Tożsamość zarządzana (zalecana)	Przypisane przez system	Tożsamość zarządzana używana przez klaster Data Explorer na potrzeby dostępu do odczytu z centrum zdarzeń. Zalecamy używanie tożsamości zarządzanych do kontrolowania dostępu do centrum zdarzeń. Uwaga: Po utworzeniu połączenia danych: * Systemowo przypisane tożsamości są tworzone automatycznie, jeśli nie istnieją * Zarządzona tożsamość jest automatycznie przypisywana do roli Odbiorcy danych usługi Azure Event Hubs i dodawana do klastra Data Explorer. Zalecamy sprawdzenie, czy rola została przypisana i czy tożsamość została dodana do klastra.

   Uwaga

   Jeśli masz istniejące połączenie danych, które nie korzysta z tożsamości zarządzanych, zalecamy zaktualizowanie go w celu korzystania z tożsamości zarządzanych.

Wymagania wstępne

• Subskrypcja Azure. Utwórz konto free Azure.
• Klaster i baza danych Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie importowania dla tabeli.
• Event Hub z danymi do przetwarzania.

Pobierz dane

1. W portalu Azure przejdź do swojej instancji Event Hubs.

2. W menu bocznym Funkcje wybierz pozycję Analizuj dane za pomocą usługi Kusto.

3. Wybierz Start, aby otworzyć kreatora importu danych dla Azure Data Explorer.

   

   Uwaga

   • Musisz mieć co najmniej uprawnienia użytkownika bazy danych.
   • Aby włączyć dostęp między klastrem a kontem magazynowym bez dostępu publicznego, zobacz Tworzenie zarządzanego prywatnego punktu końcowego.
   • Klaster i centrum zdarzeń powinny być skojarzone z tymi samymi dzierżawcami. Jeśli nie, użyj jednej z opcji zestawu SDK, takich jak C# lub Python.

4. Okienko pobierania danych otwiera się z wybraną kartą Miejsce docelowe. Wybierz pola Klaster i Baza danych z listy rozwijanej. Upewnij się, że wybrano klaster, który jest uruchomiony. W przeciwnym razie nie można wybrać Bazy danych i kontynuować procesu importu.

5. W obszarze Tabela wybierz pozycję Nowa tabela i wprowadź nazwę nowej tabeli. Alternatywnie użyj istniejącej tabeli.

6. Wybierz pozycję Dalej: Źródło.

7. W obszarze Typ źródła typ Event Hub i szczegóły są wypełniane automatycznie na podstawie uruchomionego wystąpienia Event Hubs.

8. W obszarze Połączenie danych wypełnij następujące pola i wybierz pozycję Dalej: Schemat.

   Ustawienie	Sugerowana wartość	Opis pola
   Subskrypcja		Identyfikator subskrypcji, w której znajduje się zasób centrum zdarzeń.
   Przestrzeń nazw centrum zdarzeń		Nazwa identyfikująca przestrzeń nazw.
   Centrum zdarzeń		Centrum zdarzeń, którego chcesz użyć.
   Nazwa połączenia danych	TestDataConnection	Nazwa identyfikująca połączenie danych.
   Grupa konsumentów		Grupa odbiorców zdefiniowana w centrum zdarzeń.
   Kompresja		Typ kompresji ładunku komunikatów centrum zdarzeń.
   Właściwości systemu zdarzeń	Wybierz odpowiednie właściwości	Właściwości systemu centrum zdarzeń. Jeśli dla komunikatu zdarzenia istnieje wiele rekordów, właściwości systemu są dodawane do pierwszego. Podczas dodawania właściwości systemu utwórz lub zaktualizuj schemat tabeli i mapowanie , aby uwzględnić wybrane właściwości.
   Data rozpoczęcia pobierania zdarzeń	Uniwersalny czas koordynowany (UTC)	Połączenie danych pobiera istniejące zdarzenia usługi Event Hubs utworzone po dacie rozpoczęcia pobierania zdarzeń. Można pobrać tylko zdarzenia przechowywane przez okres przechowywania usługi Event Hubs. Jeśli data rozpoczęcia pobierania zdarzeń nie jest określona, domyślny czas to godzina utworzenia połączenia danych.

9. Jeśli przesyłanie strumieniowe jest włączone dla klastra, możesz wybrać Pozyskiwanie strumieniowe. Jeśli przesyłanie strumieniowe nie jest włączone dla klastra, ustaw opóźnienie wsadowego przetwarzania danych. W przypadku usługi Event Hubs zalecany czas dzielenia na partie wynosi 30 sekund.

   

10. Wybierz format danych. W przypadku danych sformatowanych w formacie CSV zignoruj pierwszy rekord, aby zignorować wiersz nagłówka pliku. Dla danych sformatowanych jako JSON wybierz Ignoruj błędy formatu danych, aby pozyskać dane w formacie JSON, lub pozostaw niezaznaczone, aby pozyskać dane w formacie MultiJSON. Wybierz zagnieżdżone poziomy, aby określić podział danych kolumn w tabeli.

11. Jeśli dane widoczne w oknie podglądu nie są kompletne, może być konieczne utworzenie tabeli ze wszystkimi niezbędnymi polami danych. Użyj następujących poleceń, aby pobrać nowe dane z centrum zdarzeń:

    • Odrzuć i pobierz nowe dane: odrzuca prezentowane dane i wyszukuje nowe zdarzenia.
    • Pobierz więcej danych: wyszukuje więcej zdarzeń oprócz znalezionych już zdarzeń.

    Uwaga

    Aby wyświetlić podgląd danych, centrum zdarzeń musi wysyłać zdarzenia.

12. Wybierz pozycję Dalej: Podsumowanie.

13. W oknie Ustanowiono ciągłe pozyskiwanie z centrum zdarzeń, wszystkie kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym zakończeniu ustanowienia.

Wymagania wstępne

• Subskrypcja Azure. Utwórz konto free Azure.
• Klaster i baza danych Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie ingestowania dla tabeli.
• Centrum zdarzeń z danymi do przetwarzania.

szablon usługi ARM

Poniższy przykład przedstawia szablon Azure Resource Manager do dodawania połączenia danych usługi Event Hubs. Możesz edytować i wdrożyć szablon w portalu Azure przy użyciu formularza.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Usuń połączenie danych za pośrednictwem portalu Azure, jak wyjaśniono na karcie portalu.

Aby usunąć połączenie centrum zdarzeń z portalu Azure, wykonaj następujące czynności:

1. Przejdź do klastra. W menu po lewej stronie wybierz pozycję Bazy danych. Następnie wybierz bazę danych zawierającą tabelę docelową.
2. W menu po lewej stronie wybierz pozycję Połączenia danych. Następnie wybierz pole wyboru obok odpowiedniego połączenia danych centrum wydarzeń.
3. Na górnym pasku menu wybierz pozycję Usuń.