Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам (устаревшая версия)

На этой странице описывается настройка брандмауэра службы хранилища Azure для бессерверных вычислений с помощью пользовательского интерфейса консоли учетной записи Azure Databricks. Вы также можете использовать API конфигураций сетевого подключения.

Сведения о настройке частной конечной точки для бессерверного доступа к вычислительным ресурсам См. в статье "Настройка частного подключения к ресурсам Azure".

Обзор включения брандмауэра для бессерверных вычислений

Бессерверное сетевое подключение управляется конфигурациями сетевого подключения (NCCs). Администраторы учетных записей создают NCC в консоли учетной записи, и NCC можно подключить к одной или нескольким рабочим пространствам. NCCs — это региональные конструкции уровня учетной записи, которые используются для управления созданием частной конечной точки и включением брандмауэра в масштабе.

NCC определяет сетевые удостоверения для ресурсов Azure в качестве правил по умолчанию. При присоединении NCC к рабочей области бессерверные вычисления в этой рабочей области используют одну из этих сетей для подключения к ресурсу Azure. Вы можете внести эти сети в список разрешенных в брандмауэрах ваших ресурсов Azure. Чтобы узнать об использовании стабильных IP-адресов NAT для межсетевых экранов нестандартных ресурсов Azure, обратитесь к вашей команде по работе с клиентами.

Включение брандмауэра NCC поддерживается из бессерверных хранилищ SQL, заданий, записных книжек, декларативных конвейеров Lakeflow Spark и конечных точек обслуживания моделей.

Вы также можете ограничить доступ к учетной записи хранения рабочей области для авторизованных сетей, в том числе для бессерверных вычислений. При присоединении NCC правила сети автоматически добавляются в учетную запись хранения рабочей области. См. раздел "Включение поддержки брандмауэра для учетной записи хранения рабочей области".

Дополнительные сведения о контроллерах сети см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

Стоимость доступа к хранилищу между регионами

Брандмауэр применяется только в том случае, если ресурсы Azure находятся в том же регионе, что и рабочая область Azure Databricks. Для трафика между регионами из бессерверных вычислений Azure Databricks (например, рабочая область находится в регионе "Восточная часть США", а хранилище ADLS находится в Западной Европе), Azure Databricks направляет трафик через службу шлюза Azure NAT.

Требования

• Рабочая область должна находиться в плане "Премиум".

• Вы должны быть администратором учетных записей в Azure Databricks.
• Каждый NCC может быть присоединен к максимум 50 рабочим областям.
• Каждая учетная запись Azure Databricks может содержать до 10 NCC в каждом поддерживаемом регионе. NCCs предоставляют блоки CIDR общего стабильного IP-адреса, а не отдельные блоки IP-адресов для каждой конфигурации, и эти диапазоны IP-адресов зависят от региона. Список поддерживаемых регионов см. в разделе "Регионы Azure Databricks".

• У вас должен быть WRITE доступ к сетевым правилам учетной записи хранения Azure.

Шаг 1. Создание конфигурации сетевого подключения и копирование идентификаторов подсети

Databricks рекомендует совместно использовать NCCs между рабочими областями в одной бизнес-единице и теми, которые находятся в одном регионе и имеют те же свойства подключения. Например, если некоторые рабочие области используют брандмауэр хранилища и другие рабочие области используют альтернативный подход приватного канала, используйте отдельные NCCs для этих вариантов использования.

1. В качестве администратора учетной записи перейдите в консоль учетной записи.
2. На боковой панели нажмите кнопку "Безопасность".
3. Щелкните конфигурации сетевого подключения.
4. Нажмите кнопку "Добавить конфигурацию сети".
5. Введите имя NCC.
6. Выберите регион. Это должно соответствовать региону рабочей области.
7. Нажмите кнопку "Добавить".
8. В списке NCC щелкните на ваш новый NCC.
9. В разделе "Правила по умолчанию " в разделе " Сетевые удостоверения" нажмите кнопку "Просмотреть все".
10. В диалоговом окне нажмите кнопку "Копировать подсети ".

Шаг 2. Присоединение NCC к рабочим областям

Вы можете подключить NCC к 50 рабочим областям в том же регионе, что и NCC.

Чтобы использовать API для подключения NCC к рабочей области, см. API рабочих областей учетных записей.

1. На боковой панели консоли учетной записи щелкните "Рабочие области".
2. Щелкните название рабочей области.
3. Щелкните "Обновить рабочую область".
4. В поле конфигураций сетевого подключения выберите NCC. Если он не отображается, убедитесь, что вы выбрали один и тот же регион для рабочей области и NCC.
5. Нажмите кнопку "Обновить".
6. Подождите 10 минут, пока изменения вступают в силу.
7. Перезапустите все запущенные бессерверные вычислительные ресурсы в рабочей области.

Если вы используете эту функцию для подключения к учетной записи хранения рабочей области, конфигурация завершена. Правила сети автоматически добавляются в учетную запись хранения данных рабочей области. Для дополнительных учетных записей хранения перейдите к следующему шагу.

Шаг 3. Блокировка учетной записи хранения

Если вы еще не ограничили доступ к учетной записи хранения Azure только разрешенными сетями в списке, сделайте это сейчас. Для аккаунта хранения рабочей области этот шаг выполнять не требуется.

Создание сетевого экрана для хранилища также влияет на подключение из классической вычислительной среды к вашим ресурсам. Кроме того, необходимо добавить сетевые правила для подключения к учетным записям хранения из классических вычислительных ресурсов.

1. Перейдите на портал Azure.
2. Перейдите к учетной записи хранилища данных источника.
3. В левой области навигации щелкните "Сеть".
4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение включено для всех сетей. Измените это значение на "Включено" из выбранных виртуальных сетей и IP-адресов.

Шаг 4. Добавление сетевых правил учетной записи хранения Azure

Для аккаунта хранения рабочей области этот шаг выполнять не требуется.

1. В текстовом редакторе скопируйте и вставьте следующий скрипт, заменив параметры значениями для учетной записи Azure:

   # Define parameters
   
   $subscription = `<YOUR_SUBSCRIPTION_ID>` # Replace with your Azure subscription ID or name
   $resourceGroup = `<YOUR_RESOURCE_GROUP>` # Replace with your Azure resource group name
   $accountName = `<YOUR_STORAGE_ACCOUNT_NAME>` # Replace with your Azure storage account name
   $subnets = `<SUBNET_NAME_1>` # Replace with your actual subnet names
   
   # Add network rules for each subnet
   foreach ($subnet in $subnets) {
      az storage account network-rule add --subscription $subscription `
         --resource-group $resourceGroup `
         --account-name $accountName `
         --subnet $subnet
   }
   

2. Запустите Azure Cloud Shell.

3. В Azure Cloud Shell с помощью редактора создайте новый файл, который заканчивается расширением .ps1 :

   vi ncc.ps1
   

4. Вставьте скрипт из шага 1 в редактор, а затем нажмите Esc, введите :wqи нажмите клавишу Enter.

5. Выполните следующую команду, чтобы выполнить скрипт:

   ./ncc.ps1
   

6. После выполнения всех команд можно использовать портал Azure для просмотра учетной записи хранения и подтверждения того, что в таблице виртуальных сетей есть запись, представляющая новую подсеть.

   Совет

   • При добавлении сетевых правил учетной записи хранения используйте API сетевого подключения для получения актуальных подсетей.
   • Избегайте локального хранения сведений NCC.
   • Игнорируйте упоминание "Недостаточно разрешений" в столбце состояния конечной точки или предупреждение под списком сети. Они указывают только на то, что у вас нет разрешения на чтение подсетей Azure Databricks, но это не мешает этой бессерверной подсети Azure Databricks связаться с хранилищем Azure.

   

7. Чтобы убедиться, что учетная запись хранения использует эти параметры на портале Azure, перейдите к сети в учетной записи хранения. Убедитесь, что доступ к общедоступной сети установлен на включен для выбранных виртуальных сетей и IP-адресов и разрешенные сети перечислены в разделе Виртуальные сети.

Дальнейшие шаги

• Управление правилами частной конечной точки: управляйте сетевым трафиком и из частных конечных точек, определяя определенные правила, разрешающие или запрещающие подключения. См. Управление правилами частной конечной точки.
• Настройка политик сети: реализуйте политики сети для предоставления дополнительных элементов управления безопасностью и ограничений доступа для бессерверных вычислительных сред. См. Что такое управление исходящим трафиком в бессерверной архитектуре?.
• Понимание затрат на передачу данных и подключение: Узнайте о затратах, связанных с передачей данных в/из бессерверных сред и настройками сетевого подключения. Ознакомьтесь с разделом "Общие сведения о затратах на бессерверные сети Databricks".