Modell zur Beobachtbarkeit mit Genie Code

In diesem Artikel wird beschrieben, wie Sie mit Genie Code Probleme diagnostizieren, die Leistung analysieren und Anleitungen für Ihr Modell erhalten können, das Endpunkte bedient.

Wozu kann Genie Code beitragen?

Wenn Sie Genie Code auf einer Modell-Servierungs-Endpunktseite verwenden, wird es zu einem Beobachtbarkeits-Begleiter für die Modellbereitstellung. Er kann die Endpunktintegrität analysieren, Bereitstellungsfehler diagnostizieren, Latenzprobleme untersuchen und Bewährte Methoden bereitstellen – alles aus dem Bereich "Genie Code".

Genie Code ist ein nur-lesender Ratgeber in diesem Modus. Sie kann Ihre Endpunkte überprüfen und Empfehlungen bereitstellen, kann jedoch keine Konfigurationen oder Bereitstellungen ändern. Es enthält klare, schrittweise Anleitungen und Links zu Dokumentationen, damit Sie Änderungen selbst vornehmen können.

Erste Schritte

Um loszulegen:

1. Wechseln Sie zu einer Modellseite, die Endpunkte bedient.
2. Klicken Sie auf Um den Bereich "Genie Code" zu öffnen.
3. Wählen Sie in der unteren rechten Ecke "Agent" aus. Dadurch wird der Agent-Modus von Genie Code eingeschaltet.
4. Geben Sie eine Eingabeaufforderung ein, die beschreibt, wofür Sie Hilfe benötigen. Beispiel: "Überprüfen der Integrität dieses Endpunkts" oder "Warum ist meine Latenz so hoch?"

Fähigkeiten

Gesundheitsprüfungen und Diagnosen

Genie Code kann den Status und die Konfiguration Ihres Endpunkts analysieren, um potenzielle Probleme zu identifizieren:

• Überprüfen Sie den Endpunktstatus und den Bereitstellungsstatus.
• Überprüfen Sie die Konfiguration anhand bewährter Methoden.
• Bewerten der Skalierung und Ressourcenauslastung.

Problembehandlung und Analyse

Genie Code kann dabei helfen, Probleme mit Ihren Endpunkten zu lösen:

• Diagnose von Bereitstellungsfehlern mithilfe von Buildprotokollen, Ereignissen und Endpunktstatus.
• Untersuchen Sie Probleme mit hoher Latenz oder Timeout mithilfe von Metriken, Ereignissen und Rückschlusstabellendaten.
• Analysieren Sie Fehlermuster aus Dienstprotokollen und Inferenztabellen.
• Identifizieren Von Fehlkonfigurationen oder Ressourceneinschränkungen.
• Vergleichen Sie aktuelle und ausstehende Konfigurationen mit der Risikobewertung.

Anleitungen und bewährte Methoden

Genie Code enthält Empfehlungen basierend auf der Konfiguration Ihres Endpunkts:

• Empfehlen Sie optimale Skalierungskonfigurationen für Produktions- und Entwicklungsworkloads.
• Erläutern von Endpunktzuständen und Übergängen.
• Leiten Sie die Einrichtung von Überwachung und Observability an.
• Durchsuchen Sie die Dokumentation zu Azure Databricks, und stellen Sie Links zu relevanten Artikeln bereit.

Anwendungsfälle

Probieren Sie die folgenden Eingabeaufforderungen aus, um zu beginnen:

• Integritätsprüfungen:
  • Überprüfen Sie den Zustand dieses Endpunkts.
  • "Ist mein Endpunkt richtig konfiguriert?"
  • "Überprüfen Sie die Skalierungskonfiguration meines Endpunkts."
• Bereitstellungsfehler:
  • "/diagnose" oder "Warum ist meine Bereitstellung fehlgeschlagen?"
  • "Helfen Sie mir, Bereitstellungsfehler zu beheben."
  • Mein Endpunkt bleibt im Schwebezustand fest.
• Latenz-Debugging
  • "Warum ist meine Latenz so hoch?"
  • "Analysieren Sie die Latenzspitzen von diesem Morgen."
  • "Zeigen Sie mir die Leistungsmetriken für die letzten 24 Stunden an."
• Konfigurationsüberprüfung:
  • "Was hat sich in meiner ausstehenden Konfiguration geändert?"
  • "Ist meine Parallelitätseinstellung für die Produktion geeignet?"
  • "Meine Ableitungstabellenkonfiguration anzeigen."
• Anfragenhistorie
  • "Aktuelle Anforderungen an diesen Endpunkt anzeigen."
  • Welche Fehler treten bei meinen Nutzern auf?
  • "Analysieren von Fehlermustern aus der letzten Woche."

Zusatzinformation

• Genie Code
• Verwenden von Genie Code
• Überwachen der Modellqualität und der Endpunktintegrität
• Debugginghandbuch für die Modellbereitstellung
• Optimieren von Modellbereitstellungsendpunkten für die Produktion