Настройка параметров кластеров больших данных после развертывания

Область применения: SQL Server 2019 (15.x)

Important

Кластеры больших данных Microsoft SQL Server 2019 прекращены. Поддержка кластеров больших данных SQL Server 2019 закончилась с 28 февраля 2025 г. Дополнительные сведения см. в записи блога объявлений и параметрах больших данных на платформе Microsoft SQL Server.

Параметры кластера, службы и ресурсов для кластеров больших данных SQL Server можно настроить после развертывания с помощью интерфейса командной azdata строки. Эта функция позволяет администраторам кластеров больших данных SQL Server настраивать конфигурации в соответствии с требованиями рабочей нагрузки. В этой статье рассматриваются примеры сценариев настройки часового пояса и требований к рабочей нагрузке Spark. Функциональные возможности конфигурации после развертывания соответствуют набору, диффукции, применению потока.

Note

Конфигурация параметров после развертывания доступна только в кластерах больших данных SQL Server CU9 и более поздних версий. Конфигурация параметров не включает масштабирование, хранилище или конфигурацию конечной точки. Параметры и инструкции по настройке кластеров больших данных SQL Server до накопительного пакета обновления 9 см. здесь.

Пошаговый сценарий. Настройка часового пояса в кластерах больших данных SQL Server

Начиная с кластера больших данных SQL Server CU13 можно настроить конфигурацию часового пояса кластера, поэтому метки времени служб соответствуют выбранному часовой поясу. Этот параметр не применяется к плоскости управления кластером больших данных, он задает новую конфигурацию часового пояса для всех пулов SQL Server (master, вычислений и данных), компонентов Hadoop и Spark.

Note

По умолчанию кластеры больших данных SQL Server задают в формате UTC в качестве часового пояса.

Чтобы задать конфигурацию часового пояса, используйте следующую команду:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Применение ожидающих параметров к кластеру

Следующая команда будет применять конфигурацию и перезапустить все службы. Просмотрите последние разделы этой статьи о том, как отслеживать изменения и управлять процессом настройки.

azdata bdc settings apply

Пошаговый сценарий. Настройка кластера в соответствии с требованиями рабочей нагрузки Spark

Просмотр текущих конфигураций службы Spark кластера больших данных

В следующем примере показано, как просмотреть настроенные пользователем параметры службы Spark. Вы можете просматривать все возможные настраиваемые параметры, управляемые системой и все настраиваемые параметры, а также ожидающие параметры с помощью необязательных параметров. Дополнительные сведения см. в инструкции для посещенияazdata bdc spark.

azdata bdc spark settings show

Sample output

Spark Service

Setting Running Value
spark-defaults-conf.spark.driver.cores 1
spark-defaults-conf.spark.driver.memory 1664m

Изменение числа ядер и памяти по умолчанию для драйвера Spark

Обновите число ядер по умолчанию до двух и памяти по умолчанию до 7424 МБ для службы Spark. Это влияет на все ресурсы с помощью Spark для службы Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Изменение количества ядер и памяти для исполнителей Spark в пуле носителей по умолчанию

Обновите число ядер исполнителя по умолчанию до 4 для пула носителей.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Настройка дополнительных путей к пути к классу по умолчанию приложений Spark

/opt/hadoop/share/hadoop/tools/lib/ Путь содержит несколько библиотек, которые будут использоваться приложениями Spark, но указанный путь по умолчанию не загружается в пути к классу приложений Spark. Чтобы включить этот параметр, примените следующий шаблон конфигурации.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Просмотр ожидающих изменений параметров в кластере больших данных

Просмотрите ожидающие изменения параметров только для службы Spark и во всем кластере больших данных.

Ожидающие параметры службы Spark

azdata bdc spark settings show --filter-option=pending --include-details

Spark Service

Setting Running Value Configured Value Configurable Configured Время последнего обновления
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Все ожидающие параметры

azdata bdc settings show --filter-option=pending --include-details --recursive

Параметры службы Spark — ожидание

Setting Running Value Configured Value Configurable Configured Время последнего обновления
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Параметры Spark для хранилища-0 — ожидание

Setting Running Value Configured Value Configurable Configured Время последнего обновления
spark-defaults-conf.spark.executor.cores 1 4 true true

Применение ожидающих параметров к кластеру больших данных

azdata bdc settings apply

Мониторинг состояния обновления конфигурации

azdata bdc status show

Optional steps

Возврат ожидающих параметров конфигурации

Если вы определите, что вы больше не хотите изменять ожидающие параметры конфигурации, можно отменить этап этих параметров. Это приведет к возврату ожидающих параметров во всех областях.

azdata bdc settings revert

Прерывание обновления конфигурации

Если обновление конфигурации завершается ошибкой для любого из компонентов, можно отменить процесс обновления и вернуть кластер обратно в предыдущие конфигурации. Параметры, которые были этапированы для изменения во время обновления, снова будут перечислены в качестве ожидающих параметров.

azdata bdc settings cancel-apply

Next steps

Настройка кластера больших данных SQL Server

  • Last updated on