Подключение к пулам

Пулы Azure Databricks — это набор неактивных экземпляров, готовых к использованию. Когда узлы кластера создаются с помощью неиспользуемых экземпляров, время запуска кластера и автоматического масштабирования уменьшаются. Если пул не имеет неактивных экземпляров, пул расширяется путем выделения нового экземпляра от поставщика экземпляров для размещения запроса кластера.

Когда кластер освобождает экземпляр, он возвращается в пул и становится доступен для использования другим кластером. Только кластеры, подключенные к пулу, могут использовать неактивные экземпляры этого пула.

Azure Databricks не взимает DBUs, когда экземпляры простаивают в пуле. На поставщиков экземпляров распространяется выставление счетов. См. сведения о ценах.

Вы можете управлять пулами с помощью пользовательского интерфейса или путем вызова API пулов экземпляров.

Создание пула

Чтобы создать пул, необходимо иметь право на создание пула. По умолчанию только администраторы рабочей области имеют право на создание пула. См. статью "Разрешения вычислений".

Чтобы создать пул с помощью пользовательского интерфейса (только администраторы рабочей области):

1. Щелкните "Вычисления" на боковой панели.
2. Перейдите на вкладку "Пулы".
3. Нажмите кнопку "Создать пул ".
4. Укажите конфигурацию пула.
5. Нажмите кнопку Создать.

Подключение кластера к пулу

Чтобы подключить кластер к пулу с помощью интерфейса создания кластера , выберите пул из раскрывающегося списка с типом драйвера или типом рабочего процесса при настройке кластера. Доступные пулы перечислены в верхней части каждого раскрывающегося списка. Для узла драйвера и рабочих узлов можно использовать один и тот же пул или разные пулы.

При использовании API кластеров необходимо указать driver_instance_pool_id для узла драйвера и instance_pool_id для рабочих узлов.

Посмотреть больше лучших практик, связанных с пулами, можно в разделе Лучшие практики для пулов.

Разрешения пула

Существует три уровня разрешений для пула: НЕТ РАЗРЕШЕНИЙ, МОЖНО ПРИКРЕПИТЬ и МОЖНО УПРАВЛЯТЬ. Для получения более подробной информации см. ACL для пулов.

Настройка разрешений пула

В этом разделе описывается управление разрешениями с помощью пользовательского интерфейса рабочей области. Вы также можете использовать API разрешений или поставщик Terraform для Databricks.

Для настройки разрешений необходимо иметь разрешение CAN MANAGE в пуле.

1. На боковой панели щелкните Вычислительная среда.

2. Перейдите на вкладку "Пулы".

3. Выберите пул, который требуется обновить.

4. Нажмите кнопку "Разрешения".

5. В настройках разрешенийнажмите на раскрывающееся меню "Выбрать пользователя, группу или субъект службы..." и выберите пользователя, группу или субъект службы.

   

6. Выберите разрешение в раскрывающемся меню разрешений.

7. Нажмите кнопку Добавить, а затем — Сохранить.

Удаление пула

Удаление пула удаляет неактивные экземпляры пула и удаляет его конфигурацию. Чтобы удалить пул, щелкните на значок на странице "Пулы". При удалении пула:

• Работающие кластеры, подключенные к пулу, продолжают работать, но не поддерживают распределение экземпляров во время изменения размера или увеличения масштаба.
• Кластеры, подключенные к пулу, работа которых завершена, не запускаются.