Настройка бессерверной среды

На этой странице объясняется, как использовать боковую панель среды в бессерверной записной книжке для настройки зависимостей, политик использования в бессерверной среде, памяти и базовой среды. Эта панель предоставляет одно место для управления бессерверными параметрами записной книжки. Параметры, настроенные на этой панели, применяются только при подключении записной книжки к бессерверным вычислениям.

Чтобы развернуть боковую панель среды нажмите кнопку справа от записной книжки.

Использование среды выполнения ИИ (бессерверный GPU)

Выполните следующие действия, чтобы настроить среду выполнения ИИ на базе бессерверных вычислений GPU в записной книжке Databricks:

1. В записной книжке щелкните раскрывающееся меню вычислений в верхней части и выберите бессерверный GPU.
2. Щелкните , чтобы открыть боковую панель 'Среда'.
3. Выберите A10 из поля Ускоритель.
4. В базовой среде выберите "Стандартный " для среды по умолчанию или ИИ для оптимизированной для ИИ среды с предварительно установленными библиотеками машинного обучения.
5. Нажмите кнопку "Применить ", а затем подтвердите , что вы хотите применить среду выполнения ИИ к вашей среде записной книжки.

Дополнительные сведения см. в разделе "Среда выполнения ИИ".

Использование бессерверных вычислений с высокой памятью

Если в записной книжке возникают ошибки недостатка памяти, можно настроить записную книжку для использования большего объема памяти. Этот параметр увеличивает размер памяти REPL, используемой при выполнении кода в записной книжке. Это не влияет на размер памяти сеанса Spark. Бессерверное использование с высокой памятью имеет более высокую скорость выбросов DBU, чем стандартная память.

Доступные варианты памяти:

• Стандартный: 16 ГБ общего объема памяти.
• Высокий: 32 ГБ общего объема памяти.

Чтобы настроить параметр памяти записной книжки, выполните следующие действия.

1. В пользовательском интерфейсе записной книжки щелкните боковой панели environmentсреды.
2. В разделе Памятьвыберите высокую память.
3. Щелкните Применить.

Этот параметр также применяется к задачам записной книжки, которые выполняются с учетом настроек памяти записной книжки. Обновление предпочтения памяти в записной книжке оказывает влияние на следующее выполнение задания.

Выбор бессерверной политики использования

Политики бессерверного использования позволяют организации применять пользовательские теги к бессерверному использованию для детализации выставления счетов.

Если в рабочей области используются бессерверные политики использования для атрибута бессерверного использования, можно выбрать политику бессерверного использования, которую вы хотите применить к записной книжке. Если пользователю назначена только одна бессерверная политика использования, эта политика выбрана по умолчанию.

После подключения ноутбука к бессерверным вычислениям можно выбрать политику использования бессерверной архитектуры в боковой панели Среда.

1. В пользовательском интерфейсе записной книжки щелкните боковой панели environmentсреды.
2. В разделе "Политика использования" выберите политику бессерверного использования, которую вы хотите применить к записной книжке.
3. Щелкните Применить.

По завершении настройки все использование записных книжек наследует пользовательские теги политики бессерверного использования.

Выбор базовой среды

Базовая среда определяет предварительно установленные библиотеки и версию среды, доступную для бессерверной записной книжки. Селектор базовой среды на боковой панели среды предоставляет единый интерфейс для выбора среды. Дополнительные сведения о каждой версии среды см. в разделе "Бессерверные версии среды". Databricks рекомендует использовать последнюю версию, чтобы получить самые актуальные функции записной книжки.

Селектор базовой среды включает следующие параметры:

• Стандартный: базовая среда по умолчанию с библиотеками, предоставляемыми Databricks.
• ИИ: базовая среда, оптимизированная для ИИ, с предварительно установленными библиотеками машинного обучения. Этот параметр отображается только в том случае, если выбран ускоритель (GPU).
• Дополнительные сведения: разворачивается, чтобы отобразить дополнительные параметры:
  • Предыдущие версии сред Standard и AI.
  • Custom: Позволяет указать настраиваемую среду с помощью YAML-файла.
• Среды рабочей области. Перечисляет все совместимые базовые среды, настроенные для рабочей области администратором.

Чтобы выбрать базовую среду, выполните приведенные действия.

1. В пользовательском интерфейсе записной книжки щелкните боковой панели environmentсреды.
2. В разделе "Базовая среда" выберите среду в раскрывающемся меню.
3. Щелкните Применить.

Добавление зависимостей в записную книжку

Поскольку бессерверная среда не поддерживает политики вычислений или скрипты инициализации, необходимо добавить пользовательские зависимости с помощью боковой панели Environment. Можно добавить зависимости по отдельности или использовать общую базовую среду для установки нескольких зависимостей.

Чтобы добавить зависимость по отдельности, выполните следующие действия.

1. В пользовательском интерфейсе записной книжки щелкните боковой панели environmentсреды.

2. В разделе "Зависимости" нажмите кнопку "Добавить зависимость " и введите путь к зависимости в поле. Можно указать зависимость в любом формате, допустимом в файле requirements.txt . Файлы wheel-файлы Python или проекты Python (например, каталог, содержащий pyproject.toml или setup.py), могут находиться в файлах рабочей области или томах каталога Unity.

   • Если используется файл рабочей области, путь должен быть абсолютным и начинаться с /Workspace/.
   • При использовании файла в томе каталога Unity путь должен быть в следующем формате: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Щелкните Применить. При этом устанавливаются зависимости в виртуальной среде записной книжки и перезапускается процесс Python.

Чтобы просмотреть установленные зависимости, перейдите на вкладку "Установленные " на боковой панели "Среды ". Журналы установки pip для среды записной книжки также можно просмотреть, нажав на журналы pip в нижней части панели.

Создание спецификации настраиваемой среды

Вы можете создавать и повторно использовать пользовательские спецификации среды.

1. В бессерверной записной книжке выберите базовую среду и добавьте все зависимости, которые требуется установить.
2. Щелкните на в нижней части панели среды, затем выберите Экспорт среды.
3. Сохраните спецификацию в виде файла рабочей области или тома каталога Unity.

Чтобы использовать пользовательскую спецификацию среды в блокноте, выберите «Пользователь» из раскрывающегося меню «Базовая среда», затем используйте значок для выбора вашего YAML-файла.

Создание общих служебных программ для совместного использования в рабочей области

В следующем примере показано, как сохранить общую программу в файле рабочей области и добавить ее в качестве зависимости в бессерверной записной книжке:

1. Создайте папку со следующей структурой. Убедитесь, что потребители проекта имеют соответствующий доступ к пути к файлу:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Заполните pyproject.toml следующим образом:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Добавьте функцию в init.py файл. Рассмотрим пример.

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. В пользовательском интерфейсе записной книжки щелкните значок "Среда" на боковой панели "Environment".

5. В разделе "Зависимости" нажмите кнопку "Добавить зависимость ", а затем введите путь к файлу util. Например: /Workspace/helper_utils.

6. Щелкните Применить.

Теперь вы можете использовать функцию в записной книжке:

from helpers import greet
print(greet('world'))

Это выводится как:

Hello, world!

Сброс зависимостей среды

Если записная книжка подключена к бессерверным вычислениям, Databricks автоматически кэширует содержимое виртуальной среды записной книжки. Это означает, что при открытии существующей записной книжки обычно не требуется переустановить зависимости Python, указанные на боковой панели среды , даже если она была отключена из-за неактивности.

Кэширование виртуальной среды Python также применяется к заданиям. Когда задание выполняется, любая задача в задании, которая использует тот же набор зависимостей, что и завершенная задача в этом запуске, становится быстрее, так как необходимые зависимости уже доступны.

Чтобы очистить кэш среды и выполнить новую установку зависимостей, указанных на боковой панели среды записной книжки, подключенной к бессерверным вычислениям, щелкните стрелку рядом с "Применить ", а затем нажмите кнопку "Сброс до значений по умолчанию".

Если вы установили пакеты, которые нарушают или изменяют основную среду записной книжки или Apache Spark, удалите проблемные пакеты, а затем сбросьте среду. Запуск нового сеанса не очищает весь кэш среды.

Настройка репозиториев пакетов Python по умолчанию

Администраторы рабочей области могут настраивать частные или аутентифицированные репозитории пакетов внутри рабочих областей в качестве конфигурации pip по умолчанию как для бессерверных записных книжек, так и для бессерверных заданий. Это позволяет пользователям устанавливать пакеты из внутренних репозиториев Python без явного определения index-url или extra-index-url.

Администраторы рабочих областей могут обратиться к инструкции Настройка репозиториев пакетов Python по умолчанию.

Настройка среды для задач задания

Для таких типов задач, как записная книжка, Python-скрипт, Python-колесо, JAR-файл или dbt-задачи, зависимости библиотеки наследуются от версии бессерверной среды. Чтобы просмотреть список установленных библиотек, см. раздел "Установленные библиотеки Python " или "Установленные библиотеки Java и Scala " в используемой версии среды . Если для задачи требуется не установленная библиотека, можно установить библиотеку из файлов рабочей области, томов каталога Unity или репозиториев общедоступного пакета.

Для записных книжек с существующей средой записной книжки можно запустить задачу с помощью среды записной книжки или переопределить ее, выбрав среду уровня задания.

Чтобы добавить библиотеку при создании или изменении задачи задания:

1. В раскрывающемся меню "Среда и библиотеки " нажмите кнопку " рядом с средой по умолчанию или нажмите кнопку "Добавить новую среду".

   

2. Выберите версию среды в раскрывающемся списке версия среды. Версии бессерверных сред см. в . Databricks рекомендует выбрать последнюю версию, чтобы получить самые актуальные функции.

3. В диалоговом окне "Настройка среды" нажмите кнопку +Добавить библиотеку.

4. Выберите тип зависимости в раскрывающемся меню в разделе Библиотеки.

5. В текстовом поле "Путь к файлу" введите путь к библиотеке.

• Для колеса Python в файле рабочей области путь должен быть абсолютным и начинаться с /Workspace/.

• Для Python Wheel в томе Unity Catalog путь должен быть /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Для файла requirements.txt выберите PyPi и введите -r /path/to/requirements.txt.

  

1. Нажмите кнопку "Подтвердить" или "Добавить библиотеку", чтобы добавить другую библиотеку.
2. Если вы добавляете задачу, нажмите кнопку "Создать задачу". Если вы редактировать задачу, нажмите кнопку "Сохранить".

Базовые среды для задач задания

Бессерверные задания поддерживают пользовательские базовые среды, определенные с помощью YAML-файлов для задач на Python, Python wheel и ноутбуков. Для задач записной книжки можно выбрать настраиваемую базовую среду в конфигурации среды задания или использовать собственные параметры среды записной книжки, которые поддерживают как среды рабочей области, так и пользовательские базовые среды. Во всех случаях только зависимости, необходимые для задачи, устанавливаются во время выполнения.