Udostępnij za pośrednictwem

Limity i regiony obsługi modelu

Ten artykuł zawiera podsumowanie ograniczeń i dostępności regionów usługi serwowania modelu Azure Databricks oraz obsługiwanych typów punktów końcowych.

Limity zasobów i ładunków

Obsługa modelu nakłada domyślne limity, aby zapewnić niezawodną wydajność. Jeśli masz opinię na temat tych limitów, skontaktuj się z zespołem ds. kont usługi Databricks.

Limity w tej sekcji dotyczą tylko punktów końcowych modelu niestandardowego i agenta sztucznej inteligencji . Aby zapoznać się z interfejsami API modelu bazowego oraz limitami zasobów i ładunku modelu zewnętrznego, zobacz Limity szybkości i przydziały interfejsów API modelu bazowego.

Modele niestandardowe i agenci sztucznej inteligencji

Funkcja Poziom szczegółowości Granica
Endpoints Na obszar roboczy 1000. Skontaktuj się z zespołem ds. kont usługi Databricks, aby go zwiększyć.
Zapytania na sekundę (QPS) Na każdy punkt końcowy 300 000 użytkowników korzystających z optymalizacji tras. Jeśli współbieżność na poziomie 1024 nie wystarcza, skontaktuj się z zespołem ds. kont usługi Databricks, aby ją zwiększyć.
Zapytania na sekundę (QPS) Na obszar roboczy 300 000 użytkowników korzystających z optymalizacji tras. 200 dla systemów bez optymalizacji trasy, zalecane tylko do małych przypadków użycia przez deweloperów.
Aprowizowana współbieżność Na jeden model 1024 z opcją niestandardową i optymalizacją tras. Skontaktuj się z zespołem ds. kont usługi Databricks w celu zwiększenia.
Aprowizowana współbieżność Na obszar roboczy 4096. Skontaktuj się z zespołem ds. kont Databricks, aby go zwiększyć.
Operacje tworzenia/aktualizowania Na obszar roboczy 50 w 5 minut.
Rozmiar ładunku Na żądanie 16 MB. W przypadku punktów końcowych agenta sztucznej inteligencji limit wynosi 4 MB.
Rozmiar żądania/odpowiedzi Na żądanie Żadne żądanie/odpowiedź w ciągu 1 MB nie zostaną zarejestrowane.
Czas trwania wykonywania modelu Na żądanie 597 sekund
Użycie pamięci modelu punktu końcowego procesora Na wystąpienie modelu 4 GB
Użycie pamięci modelu punktu końcowego procesora GPU Na każdy punkt końcowy Zależy od typu procesora GPU
Zmienne środowiskowe Według obsługiwanego modelu 50. Skontaktuj się z zespołem ds. kont usługi Databricks, aby zwiększyć limit.
Opóźnienie związane z obciążeniem Na żądanie Mniej niż 20 milisekund z optymalizacją tras.

Ograniczenia dotyczące sieci i zabezpieczeń

  • Punkty końcowe obsługi modelu są chronione przez kontrolę dostępu access control i przestrzegają reguł ruchu przychodzącego związanych z siecią skonfigurowanych w obszarze roboczym, takich jak listy dozwolonych adresów IP i Private Link.
  • Łączność prywatna (taka jak Azure Private Link) jest obsługiwana tylko w przypadku punktów końcowych obsługujących model korzystających z aprowizowanej przepływności lub punktów końcowych obsługujących modele niestandardowe.
  • Domyślnie obsługa modelu nie obsługuje Private Link do zewnętrznych punktów końcowych (takich jak Azure OpenAI). Obsługa tej funkcji jest oceniana i implementowana w poszczególnych regionach. Aby uzyskać więcej informacji, skontaktuj się z zespołem ds. kont Azure Databricks.
  • Obsługa modelu nie zapewnia poprawek zabezpieczeń istniejących obrazów modelu ze względu na ryzyko destabilizacji wdrożeń produkcyjnych. Nowy obraz modelu utworzony na podstawie nowej wersji modelu będzie zawierać najnowsze poprawki. Skontaktuj się z zespołem kont usługi Databricks, aby uzyskać więcej informacji.

Standardy profilu zabezpieczeń zgodności: obciążenia CPU

W poniższej tabeli wymieniono obsługiwane standardy zgodności profilu zabezpieczeń dla podstawowych funkcji obsługi modelu dla obciążeń procesora CPU.

Uwaga

Te standardy zgodności wymagają, aby obsługiwane kontenery były tworzone w ciągu ostatnich 30 dni. Usługa Databricks automatycznie ponownie kompiluje nieaktualne kontenery w Twoim imieniu. Jeśli jednak to zadanie automatyczne zakończy się niepowodzeniem, zostanie wyświetlony komunikat dziennika zdarzeń podobny do poniższego i zawiera wskazówki dotyczące tego, jak zapewnić, że punkty końcowe pozostaną w wymaganiach dotyczących zgodności:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Rejon Lokalizacja HIPAA HITRUST PCI-DSS IRAP (Międzynarodowy Program Oceny Ryzyka) Poziom ochrony CCCS Średni (Chroniony B) UK Cyber Essentials Plus
australiacentral AustraliaCentral            
australiacentral2 AustraliaCentral2            
australiaeast AustraliaEast ✓ ✓ ✓      
australiasoutheast Południowo-wschodnia Australia            
brazilsouth Brazylia Południowa ✓ ✓ ✓      
canadacentral CanadaCentral ✓ ✓ ✓      
canadaeast CanadaEast            
centralindia CentralIndia ✓ ✓ ✓      
centralus Środkowe USA ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ChinyPółnoc2            
chinanorth3 ChinyNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus EastUS (Wschodni USA) ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral FranceCentral ✓ ✓ ✓      
germanywestcentral Niemcy-Zachód-Centrum ✓ ✓ ✓      
japaneast JapanEast ✓ ✓ ✓      
japanwest JaponiaWest            
koreacentral KoreaCentral ✓ ✓ ✓      
mexicocentral MeksykCentral            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope NorthEurope ✓ ✓ ✓      
norwayeast Norwegia Wschód            
qatarcentral KatarCentral            
southafricanorth PołudniowaAfrykaPółnoc            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia Azja Południowo-Wschodnia ✓ ✓ ✓      
southindia Południowe Indie            
swedencentral SzwecjaCentral ✓ ✓ ✓      
switzerlandnorth Szwajcaria Północ ✓ ✓ ✓      
switzerlandwest SzwajcariaWest            
uaenorth UAENorth ✓ ✓ ✓      
uksouth UKSouth ✓ ✓ ✓     ✓
ukwest UKWest            
westcentralus WestCentralUS            
westeurope Europa Zachodnia ✓ ✓ ✓      
westindia WestIndia            
westus Zachodnie USA ✓ ✓ ✓      
westus2 WestUS2 ✓ ✓ ✓      
westus3 WestUS3 ✓ ✓ ✓      

Limity interfejsów API modelu podstawowego

Aby uzyskać szczegółowe informacje na temat interfejsów API modeli bazowych, w tym limitów zasobów i ładunków dla modeli bazowych i zewnętrznych, zobacz Interfejsy API modeli bazowych - limity i przydziały.

Dostępność regionów

Uwaga

Jeśli potrzebujesz punktu końcowego w nieobsługiwanym regionie, skontaktuj się z zespołem ds. kont Azure Databricks.

Jeśli obszar roboczy jest wdrożony w regionie obsługującym modele, jednakże jest obsługiwany przez płaszczyznę sterowania znajdującą się w nieobsługiwanym regionie, obszar roboczy nie obsługuje obsługi modelu. Jeśli spróbujesz użyć obsługi modelu w takim obszarze roboczym, zostanie wyświetlony komunikat o błędzie z informacją, że obszar roboczy nie jest obsługiwany. Aby uzyskać więcej informacji, skontaktuj się z zespołem ds. kont Azure Databricks.

Aby uzyskać więcej informacji na temat regionalnej dostępności każdej funkcji obsługującej model, zobacz Dostępność funkcji obsługujących model.

Aby uzyskać dostępność regionu modelu podstawowego hostowanego w usłudze Databricks, zobacz Podstawowe modele hostowane w usłudze Databricks.

  • Last updated on