Настройка кластера больших данных SQL Server — предварительная версия CU9

Область применения: SQL Server 2019 (15.x)

Important

Кластеры больших данных Microsoft SQL Server 2019 прекращены. Поддержка кластеров больших данных SQL Server 2019 закончилась с 28 февраля 2025 г. Дополнительные сведения см. в записи блога объявлений и параметрах больших данных на платформе Microsoft SQL Server.

В кластерах больших данных SQL Server 2019 выпуски CU8 и более ранних версий можно настроить параметры кластера больших данных во время развертывания с помощью файла развертывания bdc.json . Главный экземпляр SQL Server можно настроить только после развертывания с помощью mssql-conf.

Note

До выпуска CU9 и поддержки кластеров с поддержкой конфигурации кластеры больших данных могут быть настроены только во время развертывания, за исключением главного экземпляра SQL Server, который можно настроить только после развертывания с помощью mssql-conf. Инструкции по настройке накопительного пакета обновления 9 и более поздних версий см. в разделе "Настройка кластера больших данных SQL Server".

Configuration Scopes

Конфигурация кластеров больших данных предварительной версии CU9 имеет два уровня области: serviceи resource. Иерархия параметров следует в этом порядке, а также от самого высокого до нижнего. Компоненты BDC будут принимать значение параметра, определенного в самой низкой области. Если параметр не определен в заданной области, он наследует значение от его более высокой родительской области.

Например, может потребоваться определить число ядер по умолчанию, которое драйвер Spark будет использовать в пуле носителей и Sparkhead ресурсах. Это можно сделать двумя способами.

  • Указание значения ядер по умолчанию в Spark области службы
  • Указание значения ядер по умолчанию в storage-0 области ресурсов и sparkhead области ресурсов

В первом сценарии все ресурсы службы Spark (пул носителей и Sparkhead) наследуют число ядер по умолчанию из значения службы Spark по умолчанию.

Во втором сценарии каждый ресурс будет использовать значение, определенное в соответствующей области.

Если число ядер по умолчанию настроено как в службе, так и в области ресурсов, то значение области ресурсов переопределит значение области службы, так как это самая низкая настраиваемая пользователем область для заданного параметра.

Дополнительные сведения о конфигурации см. в следующих статьях:

Настройка главного экземпляра SQL Server

Настройте главный экземпляр кластеров больших данных SQL Server.

Параметры конфигурации сервера нельзя настроить для главного экземпляра SQL Server во время развертывания. В этой статье описывается временное решение по настройке параметров, таких как выпуск SQL Server, включение или отключение агента SQL Server, включение определенных флагов трассировки или включение или отключение отзывов клиентов.

Чтобы изменить любой из этих параметров, выполните следующие действия.

  1. Создайте пользовательский mssql-custom.conf файл, содержащий целевые параметры. Следующий пример включает агент SQL, телеметрию, задает идентификатор PID для Enterprise Edition и включает флаг трассировки 1204.:

    [sqlagent]
enabled=true

[telemetry]
customerfeedback=true
userRequestedLocalAuditDirectory = /tmp/audit

[DEFAULT]
pid = Enterprise

[traceflag]
traceflag0 = 1204

  2. Скопируйте файл mssql-custom.conf в контейнер /var/opt/mssql в поде mssql-server. Замените <namespaceName> именем кластера больших данных.

    kubectl cp mssql-custom.conf master-0:/var/opt/mssql/mssql-custom.conf -c mssql-server -n <namespaceName>

  3. Перезапустите экземпляр SQL Server. Замените <namespaceName> именем кластера больших данных.

    kubectl exec -it master-0  -c mssql-server -n <namespaceName> -- /bin/bash
supervisorctl restart mssql-server
exit

Important

Если главный экземпляр SQL Server находится в конфигурации групп доступности, скопируйте файл mssql-custom.conf во всех модулях master под. Обратите внимание, что каждый перезапуск приведет к отработке отказа, поэтому необходимо убедиться, что это действие выполняется во время простоя.

Known limitations

  • Описанные выше действия требуют разрешения администратора кластера Kubernetes
  • Невозможно изменить параметры сортировки сервера для главного экземпляра SQL Server кластера больших данных после развертывания.

Настройка Apache Spark и Apache Hadoop

Чтобы настроить Apache Spark и Apache Hadoop в кластерах больших данных, необходимо изменить профиль кластера во время развертывания.

Кластер больших данных имеет четыре категории конфигурации:

  • sql
  • hdfs
  • spark
  • gateway

sql, hdfs, sparksql — это службы. Каждая служба сопоставляется с той же именованной категорией конфигурации. Все конфигурации шлюза переходят к категории gateway.

Например, все конфигурации в службе hdfs относятся к категории hdfs. Обратите внимание, что все конфигурации Hadoop (core-site), HDFS и Zookeeper относятся к категории hdfs; все конфигурации Livy, Spark, Yarn, Hive, Metastore относятся к категории spark.

Поддерживаемые конфигурации перечисляют свойства Apache Spark и Hadoop, которые можно настроить при развертывании кластера больших данных SQL Server.

В следующих разделах перечислены свойства, которые нельзя изменить в кластере:

Next steps

Настройка кластера больших данных SQL Server

  • Last updated on