Среда выполнения кластеров больших данных SQL Server для Apache Spark

Область применения: SQL Server 2019 (15.x)

Important

Кластеры больших данных Microsoft SQL Server 2019 прекращены. Поддержка кластеров больших данных SQL Server 2019 закончилась с 28 февраля 2025 г. Дополнительные сведения см. в записи блога объявлений и параметрах больших данных на платформе Microsoft SQL Server.

Знакомство со средой выполнения кластеров больших данных SQL Server для Apache Spark

Среда выполнения кластеров больших данных SQL Server для Apache Spark — это стандартная спецификация для Apache Spark, которая обеспечивает бесперебойное взаимодействие между дистрибутивами. Эта среда выполнения Spark — это согласованный блок дистрибутивов языков программирования, оптимизации подсистемы, основных библиотек и пакетов.

Каждый продукт, использующий эту спецификацию среды выполнения, будет содержать те же версии Apache Spark Core, PySpark, Scala Spark, Spark.R, sparklyr и .NET для Spark.

Все распределенные пакеты и библиотеки также одинаковы. Основной целью спецификации является предоставление высококлассного опыта для инженеров по данным и специалистов по анализу данных, предлагая готовый к использованию постоянно обновляемый список пакетов и коннекторов.

Преимущества среды выполнения кластеров больших данных SQL Server для Apache Spark:

  1. Оптимизация и функции подсистемы Spark, доступные во всех продуктах и службах
  2. Установленная частота выпуска
  3. Простое взаимодействие между продуктами и службами Spark
  4. Курированные пакеты для инженеров и специалистов по обработке и анализу данных
  5. Согласованная история управления пакетами

Стандарты периодичности выпуска и именования

Среда выполнения кластеров больших данных SQL Server для спецификации Apache Spark определяет следующее:

Стандарт именования среды выполнения выглядит следующим образом:

"PRODUCT_NAME.SPARK_MAJOR_VERSION.CALENDAR_YEAR.RELEASE#"

Примером является BDC.3.2021.1.

RELEASE# — это последовательный семантический номер. Он не привязан к месяцам или другим стандартам. После создания выпуска среды выполнения она неизменяема. Каждый выпуск кластеров больших данных SQL Server поставляется с одной версией среды выполнения.

Что включает текущий выпуск среды выполнения?

Заметки о выпуске платформы кластеров больших данных SQL Server содержат информацию о среде выполнения и полное описание выпуска.

Next steps

Дополнительные сведения см. в разделе "Общие сведения о кластерах больших данных SQL Server".

  • Last updated on