Создание, настройка и использование среды в Fabric

Среда Microsoft Fabric — это элемент рабочей области, определяющий конфигурацию сеанса Spark для записных книжек и определений заданий Spark. Используйте среду для выбора среды выполнения Spark, настройки параметров вычислений, управления библиотеками и управления небольшими файлами ресурсов, к которым могут получить доступ записные книжки.

В этой статье представлен обзор создания, настройки и использования среды.

Почему используйте элемент среды

Вы можете запускать записные книжки и определения заданий Spark с помощью рабочей области по умолчанию без присоединения элемента среды. В этом случае вы используете параметры Spark на уровне рабочей области.

Используйте элемент среды, когда вам нужны повторно используемые, управляемые настройки по умолчанию для команд.

• Определите вычисления и библиотеки Spark один раз и последовательно применяйте их к записным книжкам и определениям заданий Spark.
• Установите среду в качестве рабочего пространства по умолчанию, чтобы пользователи унаследуют общую конфигурацию по умолчанию.
• Настройки версии и операционной среды как единый артефакт.

Среды уровня рабочей области

Используйте этот рабочий процесс, если вы хотите установить значения по умолчанию на уровне рабочего пространства для записных книжек и определений заданий Spark.

Элемент среды создается в определенной рабочей области и связан с этой рабочей областью. Вы также можете использовать эту среду в других рабочих областях, где у вас есть доступ, если соблюдены требования к совместному использованию и совместимости рабочих областей.

Создание среды из рабочей области

1. В браузере перейдите в рабочую область Fabric на портале Fabric.

2. Нажмите кнопку +Создать элемент.

3. Найдите "среда" в строке поиска и выберите плитку "Среда ".

   

4. Назовите среду и нажмите кнопку "Создать".

Подключение среды как рабочей области по умолчанию

Администраторы рабочей области могут определить рабочую нагрузку по умолчанию для всей рабочей области. Значения, настроенные здесь, эффективны для записных книжек и определений заданий Spark, которые присоединяются к параметрам рабочей области .

Переключатель "Задать среду по умолчанию" контролирует, поддерживается ли параметр "Рабочая область по умолчанию" элементом среды.

1. В браузере перейдите в рабочую область Fabric на портале Fabric.

2. Выберите параметры рабочей области.

3. Выберите "Инженерия и наука данных", а затем выберите параметры Spark.

4. Перейдите на вкладку Среда.

   

5. Чтобы использовать рабочую область с поддержкой среды по умолчанию, включите "Установить среду по умолчанию" в положение "Вкл", выберите нужный элемент среды и сохраните изменения.

   • Если этот переключатель отключен ( по умолчанию), пользователи по-прежнему видят рабочую область по умолчанию в записных книжках и определениях заданий Spark. В этом состоянии рабочая область по умолчанию использует параметры Spark на уровне рабочей области.
   • Если этот переключатель включен, выберите элемент среды в качестве рабочей области по умолчанию. Записные книжки и определения заданий Spark, использующие Рабочую область по умолчанию, наследуют конфигурации вычислительных ресурсов и библиотек Spark.

   

Уровни среды определения заданий для Notebook и Spark

Используйте этот рабочий процесс, если вы хотите создать, выбрать или изменить среды непосредственно из определения задания Spark или записной книжки.

Создание или изменение среды из определения задания Spark или записной книжки

1. В браузере перейдите в рабочую область Fabric на портале Fabric.

2. Откройте записную книжку или определение задания Spark.

3. Выберите раскрывающийся список "Среда" , а затем выберите "Создать среду".

   

   Замечание

   Кроме того, если вы хотите изменить среду без создания новой, можно выбрать команду "Изменить среду " в раскрывающемся меню. Вы можете выбрать существующую среду и нажать кнопку "Подтвердить ", чтобы присоединить ее к записной книжке или определению задания Spark.

4. Назовите среду и нажмите кнопку "Создать".

Присоедините среду к записной книжке или определению задания Spark

Среда доступна как на вкладках "Записная книжка" , так и на вкладках "Определение задания Spark ". Когда записные книжки и определения заданий Spark подключены к среде, они могут получить доступ к своим библиотекам, конфигурациям вычислений и ресурсам. В обозревателе перечислены все доступные среды, которые предоставлены вам, из текущей рабочей области и из других рабочих областей, к которым у вас есть доступ.

При переходе на другую среду во время активного сеанса новая выбранная среда не вступает в силу до следующего сеанса.

При подключении среды из другой рабочей области обе рабочие области должны иметь одинаковые параметры емкости и безопасности сети. Хотя вы можете выбрать среды из рабочих областей с разными емкостями или параметрами безопасности сети, сеанс не запускается.

При присоединении среды из другой рабочей области конфигурация вычислений в этой среде игнорируется. Вместо этого пул и вычислительные конфигурации по умолчанию установлены как параметры вашей текущей рабочей области.

Настройка среды

Среда имеет три основных компонента:

• Вычисление Spark, включающее среду выполнения Spark.
• Библиотеки.
• Ресурсы.

Конфигурации вычислений и библиотек Spark необходимы для эффективной публикации. Ресурсы — это общее хранилище, которое может измениться в режиме реального времени. Дополнительные сведения см. в разделе "Сохранение и публикация изменений".

Настройка вычислений Spark

Настройте вычислительные ресурсы Spark в среде, выбрав среду выполнения и задав свойства вычислений уровня сеанса.

Подробные инструкции, включая выбор среды выполнения и настройку вычислений, см. в разделе "Параметры конфигурации вычислений Spark" в средах Fabric.

При изменении среды выполнения или параметров вычислений сохраните и опубликуйте среду, чтобы эти изменения вступили в силу. Дополнительные сведения см. в разделе "Сохранение и публикация изменений".

Управление библиотеками

Каждая среда выполнения Spark предоставляет встроенные библиотеки. В среде Fabric можно также установить библиотеки из общедоступных источников или отправить пользовательские библиотеки, созданные вами или вашей организацией. После успешной установки библиотек они доступны в сеансах Spark. Дополнительные сведения см. в разделе "Управление библиотеками в средах Fabric". Рекомендации по управлению библиотеками в Fabric см. в статье "Управление библиотеками Apache Spark в Fabric".

При добавлении библиотек в среду вы выбираете режим публикации:

• Быстрый режим публикуется около 5 секунд. Библиотеки устанавливаются при запуске сеанса записной книжки. Используйте быстрый режим для быстрой итерации во время разработки.
• Полный режим создает стабильный, воспроизводимый моментальный снимок библиотеки. Публикация обычно занимает от 3 до 6 минут, а запуск сеанса добавляет от 1 до 3 минут для развертывания зависимостей. Используйте полный режим для конвейеров, запланированных запусков и общих рабочих нагрузок. Чтобы достичь приблизительно 5-секундного запуска сеанса в режиме Полный, настройте настраиваемый динамический пул, который прикрепляется к окружению.

Дополнительные сведения о каждом режиме см. в разделе "Выбор режима публикации" для библиотек.

Использование ресурсов

Раздел "Ресурсы " в среде упрощает управление небольшими ресурсами на этапе разработки. Файлы, загруженные в среду, доступны для блокнотов, когда они прикреплены. Дополнительные сведения см. в разделе "Управление ресурсами в среде Fabric".

Сохранение и публикация изменений

Используйте команду "Сохранить и опубликовать ", чтобы управлять тем, когда изменения конфигурации среды вступили в силу.

• Сохранение сохраняет ваши ожидающие изменения.
• Публикация применяет ожидающие изменения к библиотекам и вычислениям Spark.
• Изменения в ресурсах находятся в режиме реального времени и не требуют публикации.

При публикации время зависит от выбранного режима публикации библиотеки. Быстрый режим публикуется около 5 секунд, в то время как полный режим обычно занимает от 3 до 6 минут для разрешения зависимостей и создания стабильного моментального снимка. Дополнительные сведения см. в разделе "Выбор режима публикации" для библиотек.

На вкладке "Главная" включено сохранение и публикация при ожидании изменений в библиотеках или вычислениях Spark.

При наличии ожидающих изменений баннер также предоставляет действия сохранения и публикации .

Используйте этот рабочий процесс:

1. Внесите изменения в библиотеки или Spark compute.
2. Нажмите кнопку "Сохранить", чтобы сохранить изменения. Сохраненные изменения отложены и еще не вступили в силу.
3. Выберите "Опубликовать " и "Опубликовать все ", чтобы внести промежуточные изменения в силу.

Во время публикации:

• Чтобы отменить процесс публикации, выберите "Просмотреть ход выполнения " в баннере и отменить операцию.
• Уведомление появляется после завершения публикации. Уведомление об ошибке возникает, если во время процесса возникли проблемы.

Среда принимает только одно действие публикации одновременно. Вы не можете вносить изменения в разделы Библиотек или вычислений Spark во время текущего Publish действия.

Предоставление общего доступа к существующей среде

Fabric поддерживает общий доступ к элементу с различными уровнями разрешений.

При совместном использовании элемента среды получатели автоматически получают разрешение на чтение. С помощью этого разрешения они могут изучить конфигурации среды и подключить его к записным книжкам или заданиям Spark. Для плавного выполнения кода обязательно предоставьте разрешения на чтение для подключенных сред при совместном использовании записных книжек и определений заданий Spark.

Вы также можете предоставить общий доступ к среде с разрешениями общего доступа и редактирования. Пользователи с разрешением общего доступа могут продолжать совместно использовать среду с другими пользователями. Получатели с правом редактирования могут обновлять содержимое среды.

Удаление среды

Вы можете удалить среду, если она больше не нужна. Перед удалением среды рассмотрите следующее:

Удаление среды с помощью REST API

Среду можно удалить программным способом с помощью REST API Fabric:

Конечная точка:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Необходимые разрешения: Environment.ReadWrite.All или Item.ReadWrite.All

Дополнительные сведения о REST API см. в разделе "Удаление среды".

Связанный контент

• Параметры конфигурации вычислений Spark в средах Fabric
• Управление библиотеками в средах Fabric