Databricks Runtime 13.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.0, на базе Apache Spark 3.4.0.

Databricks выпустила эту версию в апреле 2023 года.

Новые функции и улучшения

• Выражения H3 теперь поддерживают линейные географические области
• Ganglia заменено на кластерные метрики
• Выпущена версия Spark 3.4.0
• Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением
• Новые возможности прогнозного ввода-вывода
• Расширенная поддержка функций прогнозного ввода-вывода
• Используйте коннектор Databricks для подключения к другому рабочему пространству Databricks
• Дополнительные параметры Kafka для структурированной потоковой передачи с общим кластером в каталоге Unity
• Пропускайте изменения в таблице Delta, используя структурированный стриминг
• функция CREATE TABLE LIKE для таблиц Delta
• Новые поля столбца метаданных, обозначающие начало и длину блока файлов
• Новые геопространственные функции H3
• Новые встроенные функции SQL
• %sql в записных книжках Python
• %pip не перезапускает Python
• Кластер-Python библиотеки устанавливаются с помощью некорневого пользователя

Выражения H3 теперь поддерживают линейные географические области

Теперь функции h3_coverash3 и h3_coverash3string поддерживают линейные географические области linestring и multilinestring. Функции создают минимальный покрывающий набор ячеек H3 в указанном разрешении. См . h3_coverash3 и h3_coverash3string.

Ганглия заменена метриками кластера

Для Databricks Runtime версии 13 и выше метрики Ganglia заменяются на метрики кластера Azure Databricks. Для Databricks Runtime версии 12 и ниже можно продолжать использовать метрики Ganglia. Если у вас есть рабочий процесс, который зависит от метрик Ganglia, которые не могут быть удовлетворены метриками кластера, свяжитесь с командой вашей учетной записи Azure Databricks. См. Просмотр метрик вычислений.

Выпущена версия Spark 3.4.0

Apache Spark 3.4.0 теперь общедоступен. См. версию Spark 3.4.0.

Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением

Запросы фотона теперь возвращают ошибку, если файл обновляется между планированием запросов и выполнением. Перед этим изменением Photon считывает файл, даже если его время изменения между планированием запросов и выполнением, что может привести к непредсказуемым результатам.

Новые возможности прогнозного ввода-вывода

Photon теперь поддерживает скользящие кадры для режимов ROWS и RANGE, используя {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Расширенная поддержка функций прогнозного ввода-вывода

Фотон предоставляет расширенную поддержку для источников данных CSV, AVRO и кэширования DataFrame, если ваша схема содержит исключительно скалярные столбцы. Поддержка также расширена для вложенных типов, таких как карты, структуры и массивы.

Используйте соединитель Databricks для подключения к другой рабочей области Databricks.

Соединитель Azure Databricks позволяет подключаться к вычислительным ресурсам, настроенным в другой рабочей области, и возвращать результаты в текущую рабочую область Azure Databricks. Теперь драйвер JDBC Azure Databricks включен в Databricks Runtime. См. Используйте соединитель Databricks для подключения к другой рабочей области Databricks.

Дополнительные параметры Kafka для структурированной потоковой передачи с общим кластером в каталоге Unity

Теперь вы можете использовать параметры kakfa.ssl.truststore.location и kafak.ssl.keystore.location хранить сертификаты Kafka во внешних расположениях, управляемых каталогом Unity, при использовании структурированной потоковой передачи в кластерах общего доступа. Нельзя использовать расположения в корневом каталоге DBFS.

Пропустите изменения в таблице Delta с использованием структурированного стриминга

Теперь вы можете использовать skipChangeCommits, чтобы игнорировать фиксации изменений данных в разностной таблице для операций UPDATE, MERGE и DELETE. Это заменяет ignoreChanges, что теперь устарело. См. раздел "Обработка изменений в исходных таблицах Delta".

функция CREATE TABLE LIKE для таблиц Delta

CREATE TABLE LIKE теперь поддерживается при использовании таблиц Delta.

Новые поля столбца метаданных, обозначающие начало и длину блока файлов

Теперь можно получить следующие сведения о метаданных для входных файлов с помощью столбца _metadata : file_block_start и file_block_length. Дополнительные сведения см. в столбце метаданных файла.

Новые геопространственные функции H3

Новые выражения h3_coverash3 и h3_coverash3string доступны для геопространственной обработки при включении Photon. См. раздел Геопространственные функции H3.

Новые встроенные функции SQL

Добавлены следующие функции:

• array_insert(массив, индекс, elem) Возвращает расширенный array, в который elem вставляется на позицию index.
• luhn_check(numStr) Возвращает, true если numStr проходит проверку алгоритма Luhn.

%sql в записных книжках Python

Все непустые %sql результаты Python записных книжек теперь доступны с помощью системы кэширования выходных данных _sqldf или IPython. Это упрощает использование кадра данных, что приводит к Python. Это изменение поведения по сравнению с более ранними версиями Databricks Runtime, поскольку ранее _sqldf не всегда переназначалось.

_sqldf не переназначается в результате выполнения %sql ячейки, если ячейка была выполнена с помощью параллельного выполнения SQL запроса.

%pip не перезапускается автоматически Python

После выполнения команд %pip внутри записных книжек Python, которые изменяют virtualEnv, Databricks больше не перезапускает процесс Python. Чтобы перезапустить процесс Python, вызовите dbutils.library.restartPython(). При этом изменении команды %pip в Databricks работают аналогично Jupyter Notebooks и соответствуют командам !pip и %sh pip. Databricks рекомендует %pip вместо !pip или %sh pip.

Библиотеки Python с областью кластера устанавливаются с помощью некорневого пользователя

Теперь библиотеки устанавливаются с помощью некорневого пользователя, ответственного за установку библиотек. Если вы хотите настроить поведение установки pip в скриптах инициализации, используйте файл глобального уровня [https://pip.pypa.io/en/stable/topics/configuration/#configuration-files).

Исправленные ошибки

• В %sh командах были сделаны следующие исправления:
  • Выходные данные, содержащие символы, отличные от UTF-8, теперь поддерживаются.
  • Подпроцессы теперь прерваны при отмене команды.

Обновления библиотек

• Обновленные библиотеки Python:
  • asttokens от 2.0.5 до 2.2.1
  • черный от 22.3.0 до 22.6.0
  • boto3 от 1.21.32 до 1.24.28
  • botocore от 1.24.32 до 1.27.28
  • certifi с 2021.10.8 по 2022.9.14
  • cffi от 1.15.0 до 1.15.1
  • криптография от 3.4.8 до 37.0.1
  • Cython от 0.29.28 до 0.29.32
  • dbus-python от 1.2.16 до 1.2.18
  • docstring-to-markdown от 0.11 до 0.12
  • выполнение перехода с версии 0.8.3 на 1.2.0
  • facets-overview от 1.0.0 до 1.0.2
  • fastjsonschema от 2.16.2 до 2.16.3
  • блокировка файлов от 3.9.0 до 3.10.7
  • ipykernel от 6.15.3 до 6.17.1
  • ipython от 8.5.0 до 8.10.0
  • joblib от 1.1.1 до 1.2.0
  • jsonschema от 4.4.0 до 4.16.0
  • jupyter-client от 6.1.12 до 7.3.4
  • kiwisolver от 1.3.2 до 1.4.2
  • matplotlib от 3.5.1 до 3.5.2
  • matplotlib-inline от 0.1.2 до 0.1.6
  • nbformat от 5.3.0 до 5.5.0
  • записная книжка от 6.4.8 до 6.4.12
  • pandas от 1.4.2 до 1.4.4
  • Подушка от 9.0.1 до 9.2.0
  • pip от 21.2.4 до 22.2.2
  • platformdirs от 2.6.2 до 2.5.2
  • plotly от 5.6.0 до 5.9.0
  • prometheus-client от 0.13.1 до 0.14.1
  • prompt-toolkit от 3.0.20 до 3.0.36
  • psutil от 5.8.0 до 5.9.0
  • pyflakes от 2.5.0 до 3.0.1
  • PyGObject от 3.36.0 до 3.42.1
  • pyparsing от 3.0.4 до 3.0.9
  • pyright от 1.1.283 до 1.1.294
  • python-lsp-server с 1.6.0 до 1.7.1
  • pytz с 2021.3 по 2022.1
  • pyzmq от 22.3.0 до 23.2.0
  • запросы от 2.27.1 до 2.28.1
  • веревка от 0.22.0 до 1.7.0
  • s3transfer от 0.5.0 до 0.6.0
  • scikit-learn от 1.0.2 до 1.1.1
  • scipy от 1.7.3 до 1.9.1
  • setuptools от 61.2.0 до 63.4.1
  • ssh-import-id от 5.10 до 5.11
  • stack-data от 0.2.0 до 0.6.2
  • testpath от 0.5.0 до 0.6.0
  • tomli от 1.2.2 до 2.0.1
  • ujson от 5.1.0 до 5.4.0
  • urllib3 от 1.26.9 до 1.26.11
  • virtualenv от 20.8.0 до 20.16.3
  • whatthepatch от 1.0.4 до 1.0.2
  • колесо от 0.37.0 до 0.37.1
• Обновленные библиотеки R:
  • стрелка от 10.0.0 до 10.0.1
  • бит от 4.0.4 до 4.0.5
  • веник от 1.0.1 до 1.0.3
  • bslib от 0.4.1 до 0.4.2
  • chron от 2.3-58 до 2.3-59
  • cli от 3.4.1 до 3.6.0
  • цветовое пространство от 2.0-3 до 2.1-0
  • curl от 4.3.3 до 5.0.0
  • data.table от 1.14.4 до 1.14.6
  • dbplyr от 2.2.1 до 2.3.0
  • дайджест от 0.6.30 до 0.6.31
  • dplyr от 1.0.10 до 1.1.0
  • e1071 от 1.7-12 до 1.7-13
  • оценка от 0,18 до 0,20
  • fansi с 1.0.3 до 1.0.4
  • fontawesome от 0.4.0 до 0.5.0
  • forcats от 0.5.2 до 1.0.0
  • fs от 1.5.2 до 1.6.1
  • будущее от 1.29.0 до 1.31.0
  • гигль с 1.2.1 до 1.3.0
  • gert от 1.9.1 до 1.9.2
  • glmnet от 4.1-4 до 4.1-6
  • globals от 0.16.1 до 0.16.2
  • gower от 1.0.0 до 1.0.1
  • высокий уровень от 0,9 до 0,10
  • htmltools от 0.5.3 до 0.5.4
  • htmlwidgets от 1.5.4 до 1.6.1
  • httpuv от 1.6.6 до 1.6.8
  • isoband от 0.2.6 до 0.2.7
  • jsonlite от 1.8.3 до 1.8.4
  • трикотаж от 1,40 до 1,42
  • лава от 1.7.0 до 1.7.1
  • прослушивание от 0.8.0 до 0.9.0
  • lubridate от 1.9.0 до 1.9.1
  • Markdown от 1.3 до 1.5
  • modelr от 0.1.9 до 0.1.10
  • opensl от 2.0.4 до 2.0.5
  • параллельно от 1.32.1 до 1.34.0
  • pkgbuild от 1.3.1 до 1.4.0
  • pkgdown от 2.0.6 до 2.0.7
  • pkgload от 1.3.1 до 1.3.2
  • plyr от 1.8.7 до 1.8.8
  • progressr от 0.11.0 до 0.13.0
  • purrr от 0.3.5 до 1.0.1
  • ragg от 1.2.4 до 1.2.5
  • Rcpp от 1.0.9 до 1.0.10
  • readxl от 1.4.1 до 1.4.2
  • рецепты от 1.0.3 до 1.0.4
  • rmarkdown от 2.18 до 2.20
  • RODBC от 1.3-19 до 1.3-20
  • roxygen2 от 7.2.1 до 7.2.3
  • RSQLite от 2.2.18 до 2.2.20
  • sass от 0.4.2 до 0.4.5
  • блестящий от 1.7.3 до 1.7.4
  • sourcetools от 0.1.7 до 0.1.7-1
  • sparklyr от 1.7.8 до 1.7.9
  • SparkR от 3.3.2 до 3.4.0
  • пространственный от 7.3-11 до 7.3-15
  • stringi от 1.7.8 до 1.7.12
  • stringr от 1.4.1 до 1.5.0
  • выживаемость в диапазоне от 3.4-0 до 3.5-3
  • testthat от 3.1.5 до 3.1.6
  • tidyr от 1.2.1 до 1.3.0
  • изменение времени от 0.1.1 до 0.2.0
  • TimeDate от 4021.106 до 4022.108
  • tinytex от 0,42 до 0,44
  • utf8 от 1.2.2 до 1.2.3
  • vctrs от 0.5.0 до 0.5.2
  • vroom от 1.6.0 до 1.6.1
  • whisker от версии 0.4 до 0.4.1
  • xfun от 0,34 до 0,37
  • yaml от 2.3.6 до 2.3.7
• Обновленные библиотеки Java:
  • com.amazonaws.aws-java-sdk-autoscaling от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-config с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-core от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-directory с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-ecs от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-efs от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-emr от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-glacier с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-glue с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-iam с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-importexport с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-kms от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-lambda с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-logs от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-rds с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-redshift от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-route53 с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-s3 от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-ses с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-sns от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-sqs с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-ssm от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-sts от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-support от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces от 1.12.189 до 1.12.390
  • com.amazonaws.jmespath-java от 1.12.189 до 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations от 2.13.4 до 2.14.2
  • com.fasterxml.jackson.core.jackson-core с 2.13.4 до 2.14.2
  • com.fasterxml.jackson.core.jackson-databind с 2.13.4.2 до 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor с 2.13.4 по 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda с 2.13.4 до 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer от 2.13.4 до 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 с 2.13.4 до 2.14.2
  • com.github.luben.zstd-jni с 1.5.2-1 до 1.5.2-5
  • com.google.code.gson.gson с 2.8.6 по 2.8.9
  • com.google.crypto.tink.tink с 1.6.1 до 1.7.0
  • com.h2database.h2 с 2.0.204 по 2.1.214
  • com.jcraft.rch с 0.1.50 до 0.1.55
  • com.ning.compress-lzf от 1.1 до 1.1.2
  • commons-fileupload.commons-fileupload с 1.3.3 до 1.5
  • dev.ludovic.netlib.arpack от 2.2.1 до 3.0.3
  • dev.ludovic.netlib.blas от 2.2.1 до 3.0.3
  • dev.ludovic.netlib.lapack от 2.2.1 до 3.0.3
  • io.delta.delta-sharing-spark_2.12 от 0.6.9 до 0.6.3
  • io.dropwizard.metrics.metrics-core от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-graphite от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks с 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-jmx от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-json от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-jvm от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-servlets от 4.1.1 до 4.2.10
  • io.netty.netty-all от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-buffer от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-codec от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-common: обновление с версии 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-handler от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-resolver от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport-classes-epoll от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue с 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport-native-unix-common от 4.1.74.Final до 4.1.87.Final
  • joda-time.joda-time с 2.10.13 до 2.12.1
  • net.razorvine.pickle от 1.2 до 1.3
  • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.22
  • org.antlr.antlr4-runtime с 4.8 по 4.9.3
  • org.apache.ant.ant от 1.9.2 до 1.9.16
  • org.apache.ant.ant-jsch с 1.9.2 по 1.9.16
  • org.apache.ant-launcher от 1.9.2 до 1.9.16
  • org.apache.arrow.arrow-format от 7.0.0 до 11.0.0
  • org.apache.arrow.arrow-memory-core от 7.0.0 до 11.0.0
  • org.apache.arrow.arrow-memory-netty от 7.0.0 до 11.0.0
  • org.apache.arrow.arrow-vector от 7.0.0 до 11.0.0
  • org.apache.avro.avro с 1.11.0 до 1.11.1
  • org.apache.avro.avro-ipc с 1.11.0 до 1.11.1
  • org.apache.avro.avro-mapred с 1.11.0 до 1.11.1
  • org.apache.httpcomponents.httpclient от 4.5.13 до 4.5.14
  • org.apache.httpcomponents.httpcore от 4.4.14 до 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api от 2.18.0 до 2.19.0
  • org.apache.logging.log4j.log4j-api от 2.18.0 до 2.19.0
  • org.apache.logging.log4j.log4j-core от 2.18.0 до 2.19.0
  • org.apache.orc.orc-core от 1.7.8 до 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce от 1.7.8 до 1.8.2-шейд-protobuf
  • org.apache.orc.orc-shims от 1.7.8 до 1.8.2
  • org.apache.xbean.xbean-asm9-shaded от 4.20 до 4.22
  • org.apache.zookeeper.zookeeper с 3.6.2 до 3.6.3
  • org.apache.zookeeper.zookeeper-jute от 3.6.2 до 3.6.3
  • org.eclipse.jetty.jetty-client с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-continuation с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-http с 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-jndi от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-plus от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-proxy от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-security с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-server с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-servlet от 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets от 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-util-ajax с 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-xml с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-api с 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client с 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-server с 9.4.46.v20220331 до 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.hibernate.validator.hibernate-validator с 6.1.0.Final до 6.1.7.Final
  • org.mlflow.mlflow-spark с 2.1.1 по 2.2.0
  • org.postgresql.postgresql с 42.3.3 до 42.3.8
  • org.roaringbitmap.RoaringBitmap от 0.9.25 до 0.9.39
  • org.roaringbitmap.shims от 0.9.25 до 0.9.39
  • org.rocksdb.rocksdbjni с 6.28.2 до 7.8.3
  • org.scala-lang.scala-compiler_2.12 с 2.12.14 по 2.12.15
  • org.scala-lang.scala-library_2.12 с 2.12.14 по 2.12.15
  • org.scala-lang.scala-reflect_2.12 с 2.12.14 по 2.12.15
  • org.scalanlp.breeze-macros_2.12 от 1.2 до 2.1.0
  • org.scalanlp.breeze_2.12 от 1.2 до 2.1.0
  • org.slf4j.jcl-over-slf4j от 1.7.36 до 2.0.6
  • org.slf4j.jul-to-slf4j от 1.7.36 до 2.0.6
  • org.slf4j.slf4j-api с 1.7.36 по 2.0.6
  • org.threeten.threeten-extra от 1.5.0 до 1.7.1
  • org.wildfly.openssl.wildfly-openssl от 1.0.7.Final до 1.1.3.Final
  • org.yaml.snakeyaml с 1.24 по 1.33

Apache Spark

Databricks Runtime 13.0 включает Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• Структурированная потоковая передача
• Spark Connect
• PySpark
• MLlib
• SparkR
• Служба пользовательского интерфейса реального времени и сервера истории
• Сборка

Spark SQL

Features

• Реализация поддержки значений DEFAULT для столбцов в таблицах (SPARK-38334)
• Добавление Dataset.as(StructType) (SPARK-39625)
• Поддержка параметризованного SQL (SPARK-41271, SPARK-42702)
• Добавить unpivot/melt (SPARK-38864, SPARK-39876)
• Поддержка ссылок на псевдонимы бокового столбца (SPARK-27561)
• Предложение смещения результатов поддержки (SPARK-28330, SPARK-39159)
• Поддержка метки времени без типа данных часового пояса (SPARK-35662)
• Поддержка скалярных вложенных запросов при путешествии во времени (SPARK-39306)
• Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
• Поддержка метки времени в секундах для TimeTravel с помощью параметров DataFrame (SPARK-39633)
• Добавить SparkSession.config(Map) (SPARK-40163)
• Поддержка изменения базы данных каталога сеансов по умолчанию (SPARK-35242)
• Поддержка Protobuf для Spark — from_protobuf AND to_protobuf (SPARK-40654)
• Добавить предложение WHEN NOT MATCHED BY SOURCE в MERGE INTO (SPARK-40921)
• Ослабить ограничение на упорядочение для параметров столбца CREATE TABLE (SPARK-40944)
• Эквивалент SQL для команды перезаписи кадра данных (SPARK-40956)
• Поддержка создания без необходимых дочерних выходных данных для размещения внешних ссылок (SPARK-41441)
• ORDER BY ALL (SPARK-41637)
• GROUP BY ALL (SPARK-41635)
• Добавьте flatMapSortedGroups и cogroupSorted (SPARK-38591)
• Поддержка вложенных запросов с соответствующими предикатами неравенства (SPARK-36114)
• Поддержка подзапросов с корреляцией через UNION/INTERSECT/EXCEPT (SPARK-36124)

Соответствие ANSI

• Режим SQL ANSI: всегда возвращает значение NULL для недопустимого доступа к столбцу карты (SPARK-40066)
• Поддержка двойных кавычек (SPARK-40585)
• Режим SQL ANSI: Round/Bround должен возвращать ошибку при целочисленном переполнении (SPARK-42045)
• Поддержка преобразования целых чисел к интервалам ANSI (SPARK-40008)
• Поддержка преобразования десятичных чисел в интервалы ANSI (SPARK-40014)
• Возвращает более широкие типы интервалов ANSI из функций процентиля (SPARK-40151)
• Поддержка приведения интервалов ANSI к десятичным значениям (SPARK-39470)
• Поддержка интервалов приведения к интегралам в режиме ANSI (SPARK-39451)
• Жесткое использование SQLSTATE для классов ошибок (SPARK-41994)

Функции

• Поддержка функций генератора с табличным значением в предложении FROM (SPARK-41594)
• Поддержка агрегатной функции ANSI: REGR_SXY (SPARK-37681)
• Поддержка агрегатной функции ANSI: REGR_R2 (SPARK-37641)
• Поддержка агрегатной функции ANSI: REGR_SXX (SPARK-37672)
• Поддержка агрегатной функции ANSI: REGR_SYY (SPARK-37702)
• Поддержка агрегатной функции ANSI: REGR_SLOPE (SPARK-39230)
• Поддержка агрегатной функции ANSI: REGR_INTERCEPT (SPARK-37623)
• Поддержка функции агрегирования ANSI PERCENTILE_CONT в качестве функции окна (SPARK-38219)
• Поддержка функции агрегирования ANSI: PERCENTILE_DISC (SPARK-37691)
• Поддержка функции SPLIT_PART (SPARK-38063)
• Поддержка функции TRY_AVG (SPARK-38589)
• Поддержка функции TRY_TO_BINARY (SPARK-38590)
• Поддержка функций TO_NUMBER и TRY_TO_NUMBER SQL в соответствии с новой спецификацией (SPARK-38796)
• Поддержка спецификации общего значения и функций ANSI — USER (SPARK-39138)
• Поддержка функций TO_CHAR и TRY_TO_CHAR для форматирования десятичных значений в виде строк (SPARK-28516)
• Поддержка агрегатной функции ANY_VALUE (SPARK-39213)
• Поддержка функции EQUAL_NUL (SPARK-39305)
• Поддержка статистической функции MEDIAN (SPARK-39320)
• Поддержка функции REGEXP_COUNT (SPARK-39618)
• Поддержка функции REGEXP_INSTR (SPARK-39744)
• Поддержка функции REGEXP_SUBSTR (SPARK-39695)
• Поддержка функции UNPIVOT (SPARK-39876)
• Поддержка функции TRY_TO_TIMESTAMP (SPARK-39795)
• Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом (SPARK-39741)
• Поддержка режима агрегатной функции (SPARK-39808)
• Поддержка функции GET (SPARK-40109)
• Добавление псевдонимов функций: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Улучшение функции TO_BINARY (SPARK-40112)
• Поддержка CURRENT_SCHEMA (SPARK-41323)
• Поддержка маскирования данных встроенной функции MASK (SPARK-40687)
• Поддержка функции высокого порядка: ARRAY_COMPACT (SPARK-41235)
• Поддержка функции ARRAY_APPEND (SPARK-41232)
• Поддержка функции ARRAY_INSERT (SPARK-41234)
• Поддержка функции LUHN_CHECK (SPARK-42191)
• Поддержка ARRAY_SORT(column, comparator) (SPARK-39925)

Источники данных

• Поддержка статистики столбцов в DS версии 2 (SPARK-41378)
• Секционированное соединение хранилища (SPJ) в DS v2 (SPARK-37375)
• Операции на уровне строк в DS версии 2 (SPARK-35801)
• Добавление миксина SupportsReportOrdering в интерфейс для сканирования DS версии 2 (SPARK-38647)
• Тип infer DATE для вывода схемы CSV (SPARK-39469)
• Поддержка метрик драйверов в API пользовательских метрик DS версии 2 (SPARK-39635)
• Распределение и упорядочение поддерживают функцию DS версии 2 при написании (SPARK-39607)
• Поддержка переноса функций StringEndsWith/Contains на уровень Parquet, чтобы обеспечить возможность использования фильтра словаря (SPARK-39002)
• Поддержка векторного чтения UDT в Spark Parquet (SPARK-39086)
• Расширение столбца METADATA для поддержки индексов строк для файлов Parquet (SPARK-37980)
• Поддержка чтения типа Parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
• Оптимизация порядка предикатов фильтрации (SPARK-40045)
• Поддержка запросов CTE и временных таблиц с помощью MSSQL JDBC (SPARK-37259)
• Поддержка ignoreCorruptFiles и ignoreMissingFiles в параметрах источника данных (SPARK-38767)
• Извлечение записи версии 1 в WriteFiles (SPARK-41407)
• Добавьте символьное заполнение на стороне чтения для покрытия внешних файлов данных (SPARK-40697)

Оптимизация запросов

• Объединение несвязанных скалярных подзапросов (SPARK-34079)
• Включение соединений фильтров Блум по умолчанию (SPARK-38841)
• Удаление ненужных различий в статистическом выражении по отдельным ключам (SPARK-38832)
• Поддержка проталкивания предикатов и урезания столбцов для обезличенных CTE (SPARK-37670)
• Удалите внешнее соединение, если агрегированные функции дублируются на стороне потоковой передачи (SPARK-38886)
• Удалите левое или правое внешнее соединение, если выбраны только левые или правые столбцы, а ключи соединения на другой стороне уникальны (SPARK-39172)
• Оптимизация глобальной сортировки до repartitionByExpression (SPARK-39911)
• Оптимизация правила TransposeWindow (SPARK-38034)
• Улучшение ЭлиминированиеСортировок для поддержки удаления сортировок с помощью LocalLimit (SPARK-40050)
• Установите локальное ограничение с обеих сторон, если условие соединения пусто (SPARK-40040)
• Добавление PushProjectionThroughLimit в оптимизаторе (SPARK-40501)
• Поддержка PIVOT/UNPIVOT с объединением дочерних элементов (SPARK-41195)
• Поддержка очистки столбцов с несколькими недетерминированными фильтрами (SPARK-41017)
• Улучшение секционирования выходных данных и упорядочивания с помощью кэша AQE (SPARK-41048)
• Повышение производительности, например создание предиката дерева сбалансированных выражений (SPARK-41167)
• Удалите сортировку, если она является дочерним элементом для RepartitionByExpression (SPARK-36703)
• Используйте доступную статистику столбцов на завершенных этапах запроса (SPARK-39991)
• Повторное использование выражений в WindowSpecDefinition (SPARK-41805)
• Улучшение AliasAwareOutputPartitioning и AliasAwareQueryOutputOrdering для учета всех псевдонимов (SPARK-40086, SPARK-42049)
• Ограничение на отправку до Python определяемых пользователем файлов (SPARK-42115)

Создание кода и выполнение запросов

• Сделайте defaultJoin в BroadcastNestedLoopJoinExec работающим параллельно (SPARK-40487)
• Поддержка Codegen для HiveGenericUDF (SPARK-42051)
• Добавление функции перемешивания в SinglePartition (SPARK-41986)
• DPP поддерживает сторону обрезки, обеспечивая объединение (SPARK-39217)

Другие важные изменения

• Поддержка сбора статистики автоматического раздела (SPARK-38573)
• Форматирование сообщений об ошибках на сервере Thrift (SPARK-40098)
• Добавить API расширения для нормализации планов для кэширования (SPARK-41183)
• Рефакторинг типов Spark путем внедрения физических типов (SPARK-41226)
• Поддержка полей OneOf и проверки рекурсии (SPARK-41396)
• Централизация логики разрешения столбцов (SPARK-41405)
• Улучшение проверки изменений плана (SPARK-42081)
• Введение SparkPath для обеспечения безопасности типов (SPARK-41970)
• Генерация исключения для db_name.view_name при создании временного представления с помощью API Dataset (SPARK-41090)
• Измените значение по умолчанию функции Mask с -1 на NULL (SPARK-42070)

Ядро Spark

Вывод из эксплуатации

• Избегайте повторного выполнения ненужных задач при удалении исполнителя при перемещении данных (SPARK-41469)
• Игнорировать ошибку получения данных этапа, вызванную выведенным из эксплуатации исполнителем (SPARK-40481)
• Включите spark.storage.decommission.(rdd|shuffle)Blocks.enabled по умолчанию (SPARK-40198)
• Добавьте поддержку списания YARN при отключении ESS (SPARK-30835)

Планировщик

• Сделать так, чтобы планирование этапов поддерживало режим локального кластера (SPARK-41949)
• Профиль ресурсов уровня поддержки для автономного кластера при отключении динамического выделения (SPARK-39853)
• Задержка при отключении для того, чтобы Driver смог получить ExecutorExitCode (SPARK-39957)
• Улучшение предположений посредством метрик задач этапа (SPARK-32170)
• Добавление поддержки планирования ресурсов уровня стадии для автономного кластера (SPARK-39062)
• Улучшить процесс LaunchTask, чтобы избежать отказов этапа из-за неудачного отправления сообщений LaunchTask (SPARK-39955)

Перемешивать

• Добавление метрик чтения на основе push-уведомлений на стороне клиента (SPARK-36620)
• Перемешивает метрики на стороне сервера для перетасовки на основе push-уведомлений (SPARK-33573)
• Убедитесь, что mergedShuffleCleaner были завершены до закрытия базы данных (SPARK-40186)
• Добавление поддержки RocksDB для хранилища состояний службы перетасовки (SPARK-388888)
• Инкапсулировать LevelDB, используемый для хранения состояния удаленного и внешнего перетасовки в качестве базы данных (SPARK-38909)
• Включите spark.dynamicAllocation.shuffleTracking.enabled по умолчанию (SPARK-3984)
• Включение службы перетасовки на основе push для сохранения состояния в базе данных уровня NM, чтобы обеспечить сохранение работы после перезапуска (SPARK-33236)
• Удаление блоков перетасовки с помощью службы перетасовки для выпущенных исполнителей (SPARK-37618)

Другие важные изменения

• Поддержка среды только для IPv6 (SPARK-39457)
• Включите spark.kryo.unsafe по умолчанию (SPARK-42137)
• Запретить произвольный пользовательский классpath с прокси-пользователем в режиме кластера (SPARK-41958)
• Избегайте повторной регистрации BlockManager, если исполнитель был потерян (SPARK-41360)
• Удалите ограничение на размер результата одной задачи, чтобы он не превышал 2 ГБ (SPARK-40622)
• Удалите поддержку устаревших конфигураций spark.akka.* (SPARK-40401)
• Измените ведение журнала по умолчанию на stderr в соответствии с поведением log4j (SPARK-40406)
• Исключите метаданные DirectTaskResult при вычислении размера результата (SPARK-40261)
• Разрешить настройку начальных секций в режиме take() (SPARK-40211)
• Используйте прерываемую блокировку вместо синхронизированной в Executor.updateDependencies() (SPARK-40235)
• Сбой задачи всегда должен активировать прослушиватели задач (SPARK-40106)
• Добавьте возможность выборочного отключения просмотра или опроса (SPARK-36462)
• Не кэшируйте несериализированные отношения вещания на драйвере (SPARK-39983)
• Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Предоставить разбиения номеров в stage для TaskContext (SPARK-38679)
• Настройка коэффициента нагрузки на память (SPARK-38194)
• Избегайте использования bash -c в ShellBasedGroupsMappingProvider (SPARK-38992)

Структурированная потоковая передача

Основные функции

• Асинхронное отслеживание прогресса (SPARK-39591)
• Произвольная обработка состояния в структурированной потоковой передаче на Python (SPARK-40434)
• Поддержка Protobuf в структурированной потоковой передаче (SPARK-40653)
• Исправлена поздняя фильтрация записей для поддержки цепочки операторов с отслеживанием состояния (SPARK-40925)

Другие важные изменения

• Представляем диспетчер файлов потоковой контрольной точки на основе интерфейса прерываемого выполнения Hadoop (SPARK-40039)
• Нерекомендуемая активация.Один раз и повышение триггера.AvailableNow (SPARK-39805)
• Предоставление сведений о таблице каталога логическому плану в потоковом запросе (SPARK-39564)
• Поддержка сбора метрик из приемников потоковой передачи (SPARK-38564)
• Пометить API DStream как устаревший (SPARK-42075)
• Измените значение по умолчанию параметра конфигурации смещения Kafka (SPARK-40844)
• Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark (SPARK-41379)

Spark Connect

клиент Python

• Реализация API DataFrame (SPARK-41279)
• Реализация API столбцов (SPARK-41282)
• Реализация API функций (SPARK-41283)
• Реализация API SparkSession (SPARK-41281)
• Реализация API ввода-вывода (SPARK-41284)
• Реализация API каталога (SPARK-41289)
• Поддержка определяемых пользователем функций в Python (SPARK-41661)
• Поддержка API функций Pandas/Arrow (SPARK-42393)
• Поддержка конфигурации SQL среды выполнения (SPARK-42499)
• Сборка, пакет и инфраструктура для Spark Connect (SPARK-41286)
• Введите заметки для клиента Spark Connect Python (SPARK-40451)

Клиент Scala

• Реализация базового клиента Scala (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Реализация API SparkSession (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Реализация API DataFrame (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Реализация API столбцов (SPARK-42441, SPARK-42560)
• Реализация API функций (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Реализация API ввода-вывода (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Реализация конфигурации SQL среды выполнения (SPARK-42586)
• Базовая поддержка определяемых пользователем функций (SPARK-42283, SPARK-42653, SPARK-42543)
• Базовая поддержка типизированного API (SPARK-42580, SPARK-42605)
• Тестовая инфраструктура для Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Реализация поддержки REPL (SPARK-42656, SPARK-42884)

PySpark

API Pandas в Spark

• Основное улучшение
  • Python произвольной обработке состояния в структурированной потоковой передаче (SPARK-40434)
  • Реализация отсутствующих параметров API pandas (SPARK-42883)
  • Поддержка Pandas 1.5 (SPARK-40576)
• Основная функция
  • Реализация Series.searchsorted (SPARK-40330)
  • Реализовать Series.autocorr (SPARK-38774)
  • Реализация DataFrame.mode (SPARK-40138)
  • Реализация DataFrame.boxplot и DataFrame.plot.box (SPARK-38993)
  • Реализовать DataFrame.corrwith (SPARK-38907)
  • Реализация DataFrame.resample и Series.resample (SPARK-39081)
  • Реализовать DataFrame.interpolate и Series.interpolate (SPARK-38844)
  • Реализация DataFrame.ewm и Series.ewm (SPARK-38785)
  • Реализация GroupBy.prod (SPARK-40334)
  • Реализация GroupBy.nth (SPARK-403333)
  • Внедрение метода GroupBy.quantile (SPARK-40332)
  • Реализация GroupBy.sem (SPARK-40305)
  • Реализация GroupBy.mad (SPARK-39284)
  • Реализация GroupBy.skew (SPARK-39246)
  • Внедрение GroupBy.ewm (SPARK-39129)
  • Поддержка позиционного индексирования GroupBy (SPARK-38947)

Другие важные изменения

• Основные улучшения
  • Предоставьте профилировщик памяти для определяемых пользователем функций PySpark (SPARK-40281)
  • Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
  • Поддержка входных данных NumPy в PySpark (SPARK-39405)
  • Улучшения ошибок PySpark (SPARK-41597)
• Основные функции
  • Поддержка параметризованного SQL в PySpark (SPARK-41666)
  • Реализация функции median (SPARK-40003)
  • Реализация функции mode (SPARK-40007)
  • Реализация функции unpivot/melt (SPARK-39877)
  • Поддержка Varchar в PySpark (SPARK-39760)
  • Поддержка CharType в PySpark (SPARK-39809)

MLlib

• Реализация распространителя PyTorch (SPARK-41589)
• Объедините проверку данных (SPARK-38584)
• Уменьшение размера ALS (SPARK-40476, SPARK-40745)
• Дедупционная инотоническая регрессия повторяющихся функций (SPARK-41008)
• KMeans блокируют входные векторы (SPARK-30661)
• Добавление оценки релевантности для оценки nDCG (SPARK-39446)

SparkR

• Добавление unpivot/melt (SPARK-41267)
• Добавление array_sort(column, comparator) (SPARK-40167)
• Поддержка нескольких столбцов в R (SPARK-40087)
• Поддержка стрелки 9.0.0 с SparkR (SPARK-40114)
• Обеспечить совместимость API каталога с пространством имен 3 уровня (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Поддержка R 4.2.0 (SPARK-39372)

Служба сервера динамического пользовательского интерфейса и журнала

• Улучшена масштабируемость пользовательского интерфейса Spark и стабильность драйвера для крупных приложений (SPARK-41053)
• Используйте RocksDB для spark.history.store.hybridStore.diskBackend по умолчанию (SPARK-42277)
• Группировать вложенные выполнения в корневом выполнении (SPARK-41752)
• Отображение свойств метрик на вкладке среды (SPARK-39110)
• Исправление размера входных данных и записей StagePage не отображается, если записи больше нуля (SPARK-34777)
• Повышение производительности журнала событий JsonProtocol с помощью Джексона вместо Json4s (SPARK-39489)
• Поддержка spark.history.fs.update.batchSize (SPARK-39225)

Build

• Обновление cloudpickle до версии 2.2.0 (SPARK-40991)
• Нерекомендуемая поддержка Python 3.7 (SPARK-39861)
• Поддержка Python 3.11 (SPARK-41454)
• Обновление dev.ludovic.netlib до версии 3.0.2 (SPARK-40251)
• Обновление Breeze до версии 2.0 (SPARK-39616)
• Обновление версии slf4j до версии 2.0.6 (SPARK-41561)
• Обновление версии kubernetes-client до версии 6.4.1 (SPARK-42362)
• Обновление rocksdbjni до 7.9.2 ( SPARK-42129)
• Обновление Apache Arrow до версии 11.0.0 (SPARK-42161)
• Обновление Apache Kafka до версии 3.3.2 (SPARK-42109)

Технические обновления

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 13.0.

Системная среда

• Операционная система: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN Майкрософт 2023-02-10.

Установленные Java и библиотеки Scala (версия кластера Scala 2.12)