Переход на Обслуживание моделей

В этой статье показано, как включить обслуживание моделей в рабочей области и переключить модели на интерфейс обслуживания модели Мозаики ИИ , построенный на бессерверных вычислениях.

Требования

• Зарегистрированная модель в реестре моделей MLflow.
• Разрешения на зарегистрированные модели, как описано в руководстве по управлению доступом.
• Включите бессерверные вычисления в рабочей области.

Значительные изменения

• В службе "Модель" формат запроса к конечной точке и ответ от конечной точки немного отличается от устаревшей модели MLflow. Дополнительные сведения о новом протоколе форматирования см. в статье об оценке конечной точки модели.
• В службе "Служба моделей" URL-адрес конечной точки включается serving-endpoints вместо model.
• Служба моделей включает полную поддержку управления ресурсами с помощью рабочих процессов API.
• Служба моделей готова к работе и поддерживается соглашением об уровне обслуживания Azure Databricks.

Определение конечных точек обслуживания, использующих устаревшую модель MLflow

Чтобы определить конечные точки обслуживания моделей, использующие устаревшую модель MLflow:

1. Перейдите к пользовательскому интерфейсу модели в рабочей области.
2. Выберите фильтр реестра моделей рабочей области .
3. Выберите только фильтр с поддержкой устаревшей службы .

Перенос обслуживаемых устаревшим MLflow Model Serving моделей на Model Serving.

Вы можете создать служебную конечную точку модели и гибко переключиться на рабочие процессы обслуживания моделей, не отключая устаревшую MLflow Model Serving.

Далее показано, как это сделать с помощью пользовательского интерфейса. Для каждой модели, для которой включено устаревшее обслуживание модели MLflow:

1. Зарегистрируйте модель в каталоге Unity.
2. Перейдите к конечным точкам обслуживания на боковой панели рабочей области машинного обучения.
3. Выполните рабочий процесс, описанный в статье "Создание пользовательских конечных точек обслуживания модели", чтобы создать конечную точку обслуживания с вашей моделью.
4. Переключите ваше приложение на использование нового URL-адреса, предоставленного сервисной точкой, для запроса модели, включая новый формат оценки.
5. Когда ваши модели переведены, вы можете перейти к моделям на боковой панели вашей рабочей области машинного обучения.
6. Выберите модель, для которой требуется отключить устаревший режим обслуживания моделей MLflow.
7. На вкладке Обслуживание выберите Остановить.
8. Появится сообщение для подтверждения. Выберите «Остановить обслуживание».

Перенос развернутых версий модели в сервис моделей

В предыдущих версиях функциональных возможностей службы модели конечная точка обслуживания была создана на основе этапа зарегистрированной версии модели: Staging или Production. Чтобы перенести обслуживаемые модели из этого интерфейса, вы можете реплицировать это поведение в новом интерфейсе обслуживания моделей.

В этом разделе показано, как создать отдельные конечные точки для обслуживания версий моделей Staging и версий моделей Production. Ниже показано, как это сделать с помощью API конечных точек обслуживания для каждой из обслуживаемых моделей.

В примере имя зарегистрированной модели modelA имеет версию 1 на этапе модели Production и версию 2 на этапе модели Staging.

1. Создайте две конечные точки для зарегистрированной модели, одну для Staging версий модели и другую для Production версий модели.

   Для версий модели Staging:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

   Для версий модели Production:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

2. Проверьте состояние конечных точек.

   Для тестовой конечной точки: GET /api/2.0/serving-endpoints/modelA-Staging

   Для рабочей конечной точки: GET /api/2.0/serving-endpoints/modelA-Production

3. После готовности конечных точек запросите конечную точку с помощью:

   Для тестовой конечной точки: POST /serving-endpoints/modelA-Staging/invocations

   Для рабочей конечной точки: POST /serving-endpoints/modelA-Production/invocations

4. Обновите конечную точку на основе изменений версий модели.

   В сценарии, когда создаётся новая версия модели 3, версия модели 2 может перейти на Production, а версия модели 3 - на Staging, в то время как версия модели 1 остаётся на Archived. Эти изменения можно отразить в отдельных конечных точках обслуживания модели следующим образом:

   Для конечной точки Staging обновите конечную точку, чтобы использовать новую версию модели в Staging.

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

   Для конечной точки Production обновите конечную точку, чтобы использовать новую версию модели в Production.

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

Дополнительные ресурсы

• Создание конечных точек обслуживания моделей