Anomaliedetectie

Op deze pagina wordt beschreven wat anomaliedetectie is, wat deze bewaakt en hoe u deze kunt gebruiken.

Wat is anomaliedetectie?

Met anomaliedetectie kunt u de gegevenskwaliteit in alle tabellen in een schema bewaken. Door historische patronen te analyseren, evalueert Azure Databricks automatisch de volledigheid en frisheid van elke tabel. Resultaten zijn beschikbaar in Catalog Explorer.

Requirements

• Een werkruimte waarbij Unity Catalog is ingeschakeld.
• Serverloze berekeningen moeten beschikbaar zijn in uw werkruimte (standaard ingeschakeld in werkruimten met Unity Catalog).
• Als u anomaliedetectie in een schema wilt inschakelen, moet u de bevoegdheden BEHEREN SCHEMA of BEHEREN CATALOG voor het catalogusschema hebben.
• Als u de status van de gezondheidsindicatoren van tabellen wilt weergeven, hebt u SELECT- of BROWSE-bevoegdheden nodig.

Hoe werkt anomaliedetectie?

Azure Databricks maakt een achtergrondtaak waarmee tabellen worden bewaakt voor freshness en volledigheid.

Nieuwheid verwijst naar hoe onlangs een tabel is bijgewerkt. Bewaking van gegevenskwaliteit analyseert de geschiedenis van doorvoeringen in een tabel en bouwt een model per tabel om de tijd van de volgende doorvoering te voorspellen. Als een commit ongebruikelijk laat is, wordt de tabel gemarkeerd als verouderd.

Volledigheid verwijst naar het aantal rijen dat verwacht wordt in de afgelopen 24 uur naar de tabel te zijn geschreven. Bewaking van gegevenskwaliteit analyseert het historische aantal rijen en voorspelt op basis van deze gegevens een bereik van het verwachte aantal rijen. Als het aantal rijen dat de afgelopen 24 uur is doorgevoerd, kleiner is dan de ondergrens van dit bereik, wordt een tabel gemarkeerd als onvolledig.

Azure Databricks maakt gebruik van intelligente scans om frequenties voor tabelscans te automatiseren. Intelligent scannen geeft prioriteit aan tabellen met een hoge impact, zoals bepaald door populariteit en downstreamgebruik, en vermindert frequentie voor minder kritieke tabellen. Als u tabellen handmatig wilt uitsluiten, gebruikt u de Monitor-API maken of Een monitor-API bijwerken en geeft u de uitgesloten tabellen in de excluded_table_full_names parameter op. Zie de API-documentatie voor meer informatie.

Anomaliedetectie wijzigt geen tabellen die worden bewaakt en voegt ook geen overhead toe aan taken die deze tabellen vullen.

Percentage null voor volledigheid

Percentage null voegt aanvullende kwaliteitsdetails toe aan volledigheid. Percentage nullwaarden is het percentage van de rijen dat in de afgelopen 24 uur naar de tabel is geschreven en waarvan wordt verwacht dat het null-waarden heeft voor een bepaalde kolom. Bewaking van gegevenskwaliteit analyseert de historische trend voor elke kolom en voorspelt op basis van deze gegevens een bereik. Als het percentage null voor een kolom gedurende de afgelopen 24 uur hoger is dan de bovengrens van dit bereik, wordt een tabel gemarkeerd als onvolledig.

Anomaliedetectie inschakelen in een schema

Als u anomaliedetectie in een schema wilt inschakelen, gaat u naar het schema in Unity Catalog.

1. Klik op de schemapagina op het tabblad Details .

   

2. Klik op Inschakelen. Zorg ervoor dat anomaliedetectie is ingeschakeld in het dialoogvenster Bewaking van gegevenskwaliteit en klik vervolgens op Opslaan.

3. Er wordt een scan gestart. Databricks scant elke tabel automatisch met dezelfde frequentie als waarop deze wordt bijgewerkt en biedt daarbij up-to-datuminzichten zonder dat er handmatige configuratie voor elke tabel nodig is. Voor schema's die vóór 24 september 2025 zijn ingeschakeld, heeft Databricks de monitor uitgevoerd op historische gegevens ('backtesting') voor de eerste scan om de kwaliteit van uw tabellen te controleren alsof bewaking van gegevenskwaliteit twee weken geleden in uw schema is ingeschakeld.

4. Nadat de scan is voltooid, kunt u de resultaten van anomaliedetectie voor uw tabellen op de volgende manieren bekijken:

• Statusindicatoren worden weergegeven in Catalog Explorer voor elke tabel in een schema. Zie Gezondheidsindicatoren.
• Klik op het tabblad Details van een schema waarvoor Bewaking van gegevenskwaliteit is ingeschakeld, op Resultaten weergeven en bekijk vervolgens de resultaten in Bewaking van gegevenskwaliteit. Zie De resultaten van de bewaking van de gegevenskwaliteit weergeven in de gebruikersinterface.
• Gedetecteerde kwaliteitsproblemen worden vastgelegd in de uitvoersysteemtabel. Zie De vastgelegde resultaten van anomaliedetectie controleren.

Anomaliedetectie uitschakelen

Anomaliedetectie uitschakelen:

1. Klik op het potloodpictogram.

   

2. Klik in het dialoogvenster Bewaking van gegevenskwaliteit op de wisselknop.

   Belangrijk

   Wanneer u anomaliedetectie uitschakelt, worden de anomaliedetectietaak en alle anomaliedetectietabellen en -informatie verwijderd. Deze actie kan niet ongedaan worden gemaakt.

   

3. Klik op Opslaan.

Gezondheidsindicatoren

Nadat u anomaliedetectie voor een schema hebt ingeschakeld, worden statusindicatoren weergegeven op de overzichtspagina's van het schema en de tabel in Catalog Explorer. De statusindicator toont een samenvatting van de tabelstatus voor gegevensgebruikers en zakelijke gebruikers zonder dat ze naar de gebruikersinterface van gegevenskwaliteit hoeven te navigeren. Gebruikers hebben de SELECT machtiging of BLADEREN nodig om de status van de statusindicator weer te geven.

In de volgende tabel wordt elke statusindicator beschreven:

Resultaten van bewaking van gegevenskwaliteit weergeven in de gebruikersinterface

Nadat u bewaking van gegevenskwaliteit in een schema hebt ingeschakeld, kunt u de resultatenpagina openen door op Resultaten weergeven te klikken. U kunt ook toegang krijgen tot resultaten van alle schema's waarvoor bewaking is ingeschakeld in Catalog Explorer.

De resultaten-UI bevat vervolgkeuzelijsten voor catalogi en schema's. Wanneer u een catalogus selecteert, wordt de vervolgkeuzelijst schema's gevuld met schema's in die catalogus waarvoor bewaking van gegevenskwaliteit is ingeschakeld.

• Als u MANAGE of SELECT bevoegdheden voor de catalogus hebt, kunt u incidenten weergeven op catalogusniveau. Als u alle incidenten in een catalogus wilt weergeven, selecteert u Alle schema's in de vervolgkeuzelijst Schema .

  

• Als u incidenten voor een specifiek schema wilt weergeven, moet u ook BEHEREN of SELECT bevoegdheden voor dat schema hebben. Als u een schema selecteert, worden incidenten voor alleen dat schema weergegeven.

Op de resultatenpagina ziet u een overzichtssectie bovenaan, waarin de algehele gegevenskwaliteit voor het geselecteerde bereik wordt weergegeven, inclusief het percentage gezonde tabellen en het percentage schema's/tabellen dat momenteel wordt bewaakt. Onder deze sectie vindt u een tabel met incidenten in alle bewaakte tabellen in het geselecteerde bereik. Gebruik de knoppen om de tabellen Ongezond, Gezond of Fout weer te geven.

In de volgende tabel worden de kolommen beschreven, die enigszins afwijken, afhankelijk van of u Beschadigd, In orde of Fout selecteert.

Resultaten op metastoreniveau weergeven

Deze sectie bevat een sjabloon die u in uw werkruimte kunt importeren. Met deze sjabloon maakt u een dashboard waarmee u alle kwaliteitsresultaten in de metastore kunt bekijken.

Als u deze sjabloon wilt gebruiken, moet u toegang hebben tot de system.data_quality_monitoring.table_results tabel. Standaard hebben alleen accountbeheerders toegang tot deze tabel. Ze kunnen zo nodig toegang verlenen aan anderen.

De sjabloon gebruiken

Volg deze stappen:

1. Download het sjabloonbestand: metastore-quality-dashboard.lvdash.json.
2. Klik in de zijbalk van de werkruimte op Dashboards.
3. Selecteer in de rechterbovenhoek het dashboard importeren uit bestand in de vervolgkeuzelijst Dashboard maken .
4. Klik in het dialoogvenster op Bestand kiezen, navigeer naar het sjabloonbestand en klik op Dashboard importeren.

Het bestand wordt geïmporteerd en het dashboard wordt weergegeven.

Details van tabelkwaliteit

Met de gebruikersinterface voor tabelkwaliteitsdetails kunt u dieper ingaan op trends en begrijpen waarom afwijkingen zijn gedetecteerd voor specifieke tabellen in uw schema. U kunt deze weergave op verschillende manieren openen:

• Klik in de lijst met incidenten op de beoordelingskoppeling vanuit de resultateninterface (nieuwe gebruikerservaring).
• Klik in het bewakingsdashboard (verouderd Lakeview-dashboard) op de tabelnaam op het tabblad Kwaliteitsoverzicht.
• Bekijk vanuit de UC Table Viewer het tabblad Kwaliteit op de tabelpagina.

Met alle opties gaat u naar dezelfde weergave Tabelkwaliteitsdetails voor de geselecteerde tabel.

Op basis van een tabel toont de gebruikersinterface samenvattingen van elke kwaliteitscontrole voor de tabel, met grafieken van voorspelde en waargenomen waarden bij elke evaluatietijdstempel. De grafieken tekenen resultaten van de afgelopen 1 week met gegevens.

Als de kwaliteitscontroles in de tabel zijn mislukt, worden in de gebruikersinterface ook upstream-taken weergegeven die zijn geïdentificeerd als de hoofdoorzaak.

Waarschuwingen instellen

Zie Waarschuwingen voor anomaliedetectie als u een Databricks SQL-waarschuwing wilt configureren in de uitvoerresultatentabel.

Beperkingen

• Anomaliedetectie biedt geen ondersteuning voor weergaven of vreemde tabellen.
• Bij de bepaling van volledigheid wordt geen rekening gehouden met metrische gegevens, zoals het deel van null-waarden, nulwaarden of NaN.

Verouderde anomaliedetectie

De volgende secties hebben betrekking op twee verouderde functies: het dashboard voor gegevenskwaliteit en de taakconfiguratie voor anomaliedetectie. De huidige versie van anomaliedetectie bevat deze functies niet. Het dashboard is vervangen door de gebruikersinterface voor bewaking van gegevenskwaliteit.

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]