Настройка репозиториев пакетов Python по умолчанию

Это важно

Настройка репозиториев пакетов Python по умолчанию для декларативных конвейеров Lakeflow Spark доступна в общедоступной предварительной версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ".

Администраторы рабочей области могут настроить частные или аутентифицированные репозитории пакетов в качестве конфигурации pip по умолчанию для ноутбуков, заданий и декларативных конвейеров Lakeflow Spark.

Если рабочая область настроена с репозиторием пакетов Python по умолчанию, пользователи в рабочей области смогут устанавливать пакеты из внутренних репозиториев Python без необходимости явного указания значений index-url или extra-index-url. Однако если эти значения указаны в коде или записной книжке, они имеют приоритет над значениями по умолчанию рабочей области.

Эта конфигурация использует секреты Databricks для безопасного хранения URL-адресов и учетных данных репозитория и управления ими. Администраторы рабочей области могут конфигурировать параметры с помощью страницы настроек администратора рабочей области или использовать предопределенную область секретов и команды "Databricks CLI secrets" или "REST API".

Настройка зависимостей по умолчанию для рабочей области

Администраторы рабочей области могут добавлять или удалять репозитории пакетов Python по умолчанию с помощью страницы параметров администратора рабочей области.

  1. Как администратор рабочей области войдите в рабочую область Databricks.
  2. Щелкните имя пользователя в верхней строке рабочей области Databricks и выберите Настройки.
  3. Перейдите на вкладку Вычисление.
  4. Рядом с репозиториями пакетов по умолчаниюнажмите Управление.
  5. (Необязательно) Добавьте или удалите URL-адрес индекса, URL-адреса дополнительных индексов или пользовательский SSL-сертификат.
  6. Щелкните Сохранить, чтобы сохранить изменения.

Замечание

Изменения или удаления секретов применяются по-разному в зависимости от типа рабочей нагрузки. Для бессерверных записных книжек и заданий изменения применяются после повторного кэширования вычислительного ресурса в записную книжку или повторного запуска задания. Для классических записных книжек и заданий изменения применяются после перезапуска вычислительного ресурса. Для декларативных потоков Lakeflow Spark изменения применяются к новым запускам потоков.

Настройка с помощью CLI для работы с секретами или REST API

Чтобы настроить репозитории пакетов Python по умолчанию с помощью ИНТЕРФЕЙСА командной строки или REST API, создайте предопределенную область секрета и настройте разрешения доступа, а затем добавьте секреты репозитория пакетов.

Предопределенное имя области действия секрета

Администраторы рабочей области могут задать URL-адреса индекса pip по умолчанию или дополнительные URL-адреса индекса, а также маркеры проверки подлинности и секреты в заданной области секретов в соответствии с предопределенными ключами:

  • Имя области секрета: databricks-package-management
  • Секретный ключ для URL индекса: pip-index-url
  • Секретный ключ для дополнительных URL-адресов индексов: pip-extra-index-urls
  • Секретный ключ для содержимого сертификации SSL: pip-cert

Создайте область секрета

Секретную область можно создать с помощью команд Databricks CLI секретов или REST API. После создания области секрета настройте списки управления доступом, чтобы предоставить всем пользователям рабочей области доступ на чтение. Это гарантирует, что репозиторий остается безопасным и не может быть изменен отдельными пользователями. Область секрета должна использовать предопределенное имя области секрета databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Добавление секретов репозитория пакетов Python

Добавьте сведения о репозитории пакетов Python с помощью предопределенных имен ключей секрета, при этом все три поля являются необязательными.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Замечание

Если для репозитория требуется проверка подлинности, используйте один из следующих форматов для URL-адреса индекса:

  • Имя пользователя и пароль: https://<username>:<password>@<index_url>
  • Маркер: https://<token>@<index_url>

Изменение или удаление закрытых секретов репозитория PyPI

Чтобы изменить секреты репозитория PyPI, используйте put-secret команду. Чтобы удалить секреты репозитория PyPI, используйте delete-secret, как показано ниже:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete scope
databricks secrets delete-scope databricks-package-management
  • Last updated on