Развертывание приложения Databricks

После создания и разработки приложения Azure Databricks разверните его, чтобы сделать его доступным в рабочей области Azure Databricks. Развертывание создает приложение, устанавливает зависимости и запускает его с помощью конфигурации, определенной в файлах проекта. Вы можете развертывать приложения с помощью пользовательского интерфейса Azure Databricks или интерфейса командной строки Databricks.

Логика развертывания

Databricks Apps поддерживает развертывание приложений, использующих Python, Node.jsили сочетание обоих. Это позволяет использовать гибкие архитектуры, такие как интерфейс Node.js с серверной частью Python.

Во время развертывания процесс сборки проверяет наличие package.json файла в корневом каталоге приложения, чтобы определить, используется ли Node.js. При наличии он включает шаги сборки, относящиеся к Node.js, а также шаги, относящиеся к Python. Логика развертывания соответствует следующему шаблону:

Если package.json присутствует:

1. Запуск npm install
2. Установите зависимости Python:
   • Если requirements.txt существует, выполните команду pip install -r requirements.txt
   • Если requirements.txt не существует и существуют оба pyproject.toml и uv.lock, выполните uv sync для установки зависимостей.
3. Запустите npm run build, если скрипт build задан в package.json.
4. Выполните команду, указанную в app.yaml, или npm run start если команда не указана.

Если package.json нет:

1. Установите зависимости Python:
   • Если requirements.txt существует, выполните команду pip install -r requirements.txt
   • Если requirements.txt не существует и существуют оба pyproject.toml и uv.lock, выполните uv sync для установки зависимостей.
2. Выполните команду, указанную в app.yaml, или python <my-app>.py если команда не указана.

Подготовка к развертыванию

Перед развертыванием приложения убедитесь, что проект включает необходимые компоненты:

• Основной скрипт — файл точки входа, например app.py или app.js.
• Необязательный app.yaml файл . Если приложению требуется пользовательская команда или переменные среды, включите app.yaml файл для настройки выполнения. См . раздел "Настройка выполнения приложения Databricks с помощью app.yaml".
• Зависимости — убедитесь, что доступны все зависимости. См. статью "Управление зависимостями" для приложения Databricks.
• Секреты или значения среды - Если вы используете env секцию в app.yaml, убедитесь, что упомянутые секреты или внешние источники правильно настроены и доступны. См. статью "Добавление ресурсов в приложение Databricks".

Кроме того, убедитесь, что служебный принципал приложения имеет доступ к папке с исходным кодом.

Выбор источника развертывания

Вы можете развернуть приложения Databricks из следующих источников:

• Папка рабочей области — отправка файлов приложения в папку рабочей области и развертывание из нее. Это стандартный метод развертывания.
• Репозиторий Git . Настройка репозитория Git для приложения и развертывание непосредственно без отправки файлов в рабочую область. Приложение читает код из настроенного Git-референса (ветвь, тег или коммит) при каждом развертывании. Можно также указать путь к исходному коду для развертывания из определенного каталога в репозитории. Поддерживаются все основные поставщики Git, включая GitHub, GitLab и Bitbucket. Полный список поддерживаемых поставщиков см. в разделе "Подключение поставщика Git к Databricks".

Вы можете переключаться между рабочей областью и источниками Git для одного и того же приложения в любое время, если администратор рабочей области не применяет развертывание только через Git. См. Обеспечение развертываний только через Git.

Обеспечение развертываний только через Git

Администраторы рабочей области могут требовать, чтобы все приложения в рабочей области развертывались из репозиториев Git. Чтобы включить этот параметр, перейдите в раздел "Параметры разработки>>приложений" и включите только развертывание приложений из Git. Этот параметр отключен по умолчанию.

При включении этого параметра:

• Перед созданием приложения пользователи должны настроить репозиторий Git.
• Пользователи могут развертывать только из Git, а не из папок рабочей области.
• Databricks отключает шаблоны приложений в рабочей области.
• Пользователи не могут удалить репозиторий Git из приложений с одним из них.
• Существующие приложения продолжают работать, но пользователи не могут развертывать или запускать их снова, если приложение не имеет репозитория Git.

Развертывание приложения

В следующих разделах описывается развертывание из папки рабочей области или непосредственно из репозитория Git.

Развертывание из папки рабочей области

Пользовательский интерфейс Databricks

Чтобы развернуть приложение из пользовательского интерфейса Azure Databricks, выполните следующие действия.

1. Отправьте файлы приложения в рабочую область Azure Databricks. Инструкции см. в разделе "Импорт файла".
2. Щелкните "Вычисления" на боковой панели.
3. Перейдите на вкладку "Приложения" и щелкните ссылку на приложение в столбце "Имя ".
4. Щелкните «Развернуть» и выберите папку в рабочей области, в которую вы загрузили файлы приложения.
5. Нажмите кнопку "Выбрать", а затем "Развернуть".
6. Просмотрите конфигурацию и нажмите кнопку "Развернуть".

Databricks CLI (интерфейс командной строки)

Чтобы развернуть приложение с помощью интерфейса командной строки, выполните следующие действия.

1. Откройте терминал и перейдите в каталог, содержащий файлы приложения.

2. Отправьте файлы приложения в рабочую область Azure Databricks с помощью команды sync. Замените путь расположением рабочей области, в котором нужно отправить файлы.

   databricks sync --watch . /Workspace/Users/my-email@org.com/my-app
   

   Флаг --watch сохраняет процесс синхронизации и автоматически отправляет изменения при локальном изменении файлов. Чтобы исключить определенные файлы или каталоги из синхронизации, добавьте их .gitignore в файл в локальном каталоге приложений. Распространенные файлы, которые следует исключитьnode_modules/: , .env__pycache__/.DS_Storeи любые большие файлы данных или артефакты сборки.

3. Проверьте отправку, просмотрев файлы в рабочей области. Щелкните рабочую область на боковой панели и перейдите к каталогу, созданному для вашего приложения.

4. Разверните приложение, выполнив следующую команду. Замените имя приложения и путь к исходному коду значениями.

   databricks apps deploy my-app-name \
      --source-code-path /Workspace/Users/my-email@org.com/my-app
   

   Интерфейс командной строки отображает ход развертывания и подтверждает выполнение приложения.

Развертывание из репозитория Git

Чтобы развернуть приложение из репозитория Git, добавьте репозиторий на уровне приложения, а затем укажите ссылку на Git при его развертывании. Репозиторий Git должен содержать файлы приложения, включая app.yaml, зависимости и точку входа. Поддерживаются все основные поставщики Git, включая GitHub, GitLab и Bitbucket. Вы также можете развертывать приложения, поддерживаемые Git, с помощью пользовательского интерфейса, интерфейса командной строки, API или декларативного пакета автоматизации.

Чтобы настроить и развернуть приложение из Git, выполните приведенные ниже действия.

1. Отправьте файлы приложения в репозиторий Git.
2. В рабочей области Azure Databricks щелкните значок Compute на боковой панели.
3. Перейдите на вкладку "Приложения" и выберите существующее приложение для изменения или нажмите кнопку "Создать приложение".
4. На шаге настройки репозитория Git введите URL-адрес репозитория Git (например, https://github.com/org/repo) и выберите поставщика Git.
5. Нажмите кнопку "Создать приложение " или " Сохранить ", чтобы вернуться на страницу сведений о приложении.
6. Для частных репозиториев сервисный принципал приложения должен иметь настроенные учетные данные для Git. На странице сведений о приложении нажмите кнопку "Настроить учетные данные Git" или измените приложение и добавьте учетные данные на шаге "Настройка репозитория Git ". Чтобы добавить учетные данные Git, необходимо иметь разрешения CAN MANAGE на приложение. Общедоступные репозитории не требуют учетных данных Git. Инструкции по каждому поставщику см. в разделе "Подключение поставщика Git к Databricks".

Затем разверните приложение:

1. На странице сведений о приложении нажмите кнопку "Развернуть".
2. Выберите из Git.
3. Для ссылки на Git введите имя ветки, тег или хэш SHA (например, main, v1.0.0, или хэш коммита).
4. Для типа ссылки укажите, к какому типу относится ссылка, например ветвь, тег или коммит.
5. (Необязательно) Для пути к исходному коду введите путь к определенному каталогу в репозитории. Приложение обрабатывает этот каталог как каталог верхнего уровня и не может получить доступ к файлам за ее пределами. Если путь не указан, Databricks использует корневой каталог репозитория.
6. Нажмите кнопку "Развернуть".

Для ссылок на ветви или теги Azure Databricks развертывает последний коммит из этой ветви или тега. Azure Databricks для ссылок на SHA коммита всегда развертывает именно этот коммит. Если учетные данные Git субъекта-службы недействительны или истекли, развертывание не удается.

Поведение после развертывания

После завершения развертывания Azure Databricks запускает ваше приложение на основе свойства command, указанного в файле app.yaml, или по умолчанию запускает python app.py. На странице сведений о приложении отображается текущее состояние и предоставляется доступ к журналам, журналу развертывания и сведениям о среде.

Чтобы просмотреть выходные данные развернутого приложения, щелкните ссылку приложения.

Перейдите на вкладку "Журналы" для отладки и мониторинга среды выполнения. См. статью "Ведение журнала и мониторинг для приложений Databricks".

Обновление или повторное развертывание приложения

Повторно разверните приложение после внесения изменений в исходный код или конфигурацию. Повторное развертывание применяет последние обновления без повторного восстановления приложения. Повторное развертывание можно выполнить из рабочей области или репозитория Git в любое время.

Повторное развертывание из папки в рабочей области

Чтобы переразвернуть папку рабочей области, выполните следующие действия.

1. Обновите файлы приложения в папке рабочей области.
2. Выберите приложение и нажмите кнопку "Развернуть".
3. Если путь к исходному коду изменился или вы переключаетесь с источника Git, щелкните стрелку рядом с Развернуть и выберите Развернуть с использованием другого источника.

Повторное развертывание из репозитория Git

Для повторного развертывания из репозитория Git выполните следующие действия.

1. Отправьте изменения в репозиторий Git.
2. В рабочей области Azure Databricks выберите приложение и щелкните Deploy.
3. Если ссылка на Git изменилась или вы переключаетесь с источника рабочей области, щелкните стрелку рядом с развертывание и выберите Развернуть с использованием другого источника.

Чтобы изменить репозиторий или учетные данные Git, измените конфигурацию приложения. Чтобы обновить репозиторий Git с помощью интерфейса командной строки или API, используйте команду create-update . Удаление репозитория Git из приложения требует развертывания из рабочей области.

Устранение неполадок с развертыванием

Если приложение не удается развернуть или не выполняется должным образом, попробуйте выполнить следующие действия по устранению неполадок:

• Проверьте журналы для сообщений об ошибках или выходных данных среды выполнения.
• Проверьте app.yaml синтаксис и параметры.
• Убедитесь, что секреты и переменные среды в env разделе обрабатываются правильно.
• Убедитесь, что все необходимые зависимости включены или установлены.

Для развертываний репозитория Git:

• Для частных репозиториев убедитесь, что служебный принципал приложения имеет настроенные учетные данные Git.
• Убедитесь, что URL-адрес репозитория Git является правильным, а Git-ссылка (ветка, тег или коммит) существует в репозитории.
• Если администратор рабочей области вводит в действие развертывания только через Git, вы не сможете развернуть или запустить приложение, если у него еще не настроен репозиторий Git.
• При развертывании из CLI (интерфейса командной строки), API или декларативных пакетов автоматизации сначала создайте приложение, а затем добавьте Git-учетные данные в основной служебный объект приложения.

Дальнейшие шаги

• Ведение журнала и мониторинг приложений Databricks
• Настройка разрешений для приложения Databricks
• Настройка выполнения приложения Databricks с помощью app.yaml