Databricks Runtime 18.2 (бета-версия)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 18.2 (бета-версия).

Эта версия включает все функции, улучшения и исправления ошибок из всех предыдущих выпусков Databricks Runtime. Databricks выпустила эту версию в апреле 2026 года.

Изменения поведения

• XPath больше не извлекает внешние DTD
• Сохранение структуры NULL в INSERT, MERGE и потоковой записи с помощью эволюции схемы
• Поддержка NullType (VOID) в таблицах Delta
• SHOW CREATE TABLE поддерживает представления метрик
• Исправление для удаления строк ВЛЕВО ВНЕШНЕГО JOIN БОКОВОГО
• NATURAL JOIN осуществляет сопоставление столбцов без учета регистра
• Проверка зависимостей UDF SQL в каталоге Unity
• Оптимизированные записи для секционированных таблиц каталога Unity Catalog, созданных с помощью CRTAS
• Зависимости пакета SDK ДЛЯ AWS версии 1 оттеняются
• Исправлена неверная ссылка на орган EPSG для определенного ESRI SRID 102100

XPath больше не извлекает внешние DTD

При вычислении XPath по XML Azure Databricks больше не загружает определения внешних типов документов (DTD), объявленные в документе. Ранее XPath могла завершиться ошибкой, если XML-файл содержал внешнюю ссылку DTD, указывающую на неправильный URL-адрес или недоступную конечную точку. Так как проверка DTD отличается от оценки XPath, запросы, которые уже успешно возвращают те же результаты, что и раньше. Запросы, которые ранее не удавалось выполнить лишь при извлечении внешнего DTD, теперь могут завершиться успешно.

Сохранение структуры NULL в INSERT, MERGE и потоковой записи при изменении схемы

Для INSERT, MERGE, и потоковых записей, использующих эволюцию схемы, структура NULL в источнике теперь сохраняется как NULL в целевой системе. Ранее это значение было неправильно материализовано в виде структуры, отличной от NULL, при этом каждое поле имеет значение NULL, в то время как те же операции без эволюции схемы правильно сохранили структуры NULL. Если ваш код полагался на получение структуры с ненулевым значением, но все её поля были NULL, обновите код для обработки структуры со значением NULL.

Поддержка NullType (VOID) в таблицах Delta

Теперь таблицы Delta поддерживают столбцы VOID (Spark NullType). VOID Столбцы больше не удаляются из схемы таблицы при чтении. На записи это не влияет. См. VOID тип для ограничений на размещение VOID столбцов в схеме.

SHOW CREATE TABLE поддерживает представления метрик

SHOW CREATE TABLE теперь поддерживает представления метрик. Ранее выполнение этой команды в представлении метрик вызвало ошибку. Выходные данные для представлений метрик включают полное трехкомпонентное имя с указанием каталога (например, CREATE VIEW catalog.db.my_metric_view ...), что упрощает повторное создание представления метрик в правильном месте.

Исправление для ЛЕВОГО ВНЕШНЕГО JOIN ЛАТЕРАЛЬНОГО, устраняющее проблему с удалением строк

Исправлена ошибка, которая неправильно сбрасывала строки из LEFT OUTER JOIN LATERAL запросов. Запросы, использующие эту конструкцию, теперь возвращают правильные результаты. Чтобы временно вернуться к предыдущему поведению, задайте значение spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictrue.

NATURAL JOIN учитывает сопоставление столбцов без учета регистра

NATURAL JOIN теперь правильно использует сопоставление столбцов без учета регистра, если для spark.sql.caseSensitive установлено значение false (по умолчанию). Ранее NATURAL JOIN использовалось сравнение с учетом регистра для определения общих столбцов, из-за чего столбцы, различающиеся только регистром (например, ID и id), не признавались совпадающими. Это привело к неявному получению NATURAL JOIN результатов перекрёстного соединения. Это исправление выравнивает NATURAL JOIN поведение с USING соединениями, которые уже правильно обрабатывают нечувствительность регистра. Запросы, затронутые этой ошибкой, теперь возвращают правильные результаты с правильно присоединенными столбцами.

Проверка зависимостей UDF SQL в каталоге Unity

Каталог Unity теперь применяет проверку зависимостей для определяемых пользователем функций SQL ,чтобы предотвратить обход управления доступом. Ранее функции SQL, созданные с помощью REST API, могли ссылаться на зависимости, к которых пользователь не получил доступа. Теперь выполнение пользовательских функций SQL (UDF) с недопустимыми конфигурациями зависимостей блокируется.

Оптимизированные записи для секционированных таблиц каталога Unity, созданных с помощью CRTAS

Оптимизированная запись теперь правильно применяется к секционированных таблицам каталога Unity, созданным с помощью CREATE OR REPLACE TABLE ... AS SELECT CRTAS. Ранее CRTAS в новых секционированных таблицах каталога Unity не применял оптимизированные записи, что привело к более высокому количеству небольших файлов на секцию. Это исправление может увеличить задержку записи. Чтобы вернуться к предыдущему поведению, установите значение spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabledfalse.

Зависимости пакета SDK ДЛЯ AWS версии 1 оттеняются

Пакеты SDK для AWS версии 1, поставляемые с Databricks Runtime, теперь инкапсулированы и больше недоступны непосредственно на класс-пасе. Если ваш код зависит от библиотек SDK AWS версии 1, ранее предоставляемых Databricks Runtime, добавьте их в качестве явных зависимостей в проекте. Это изменение готовится к миграции в пакет SDK AWS версии 2 после окончания поддержки AWS для пакета SDK версии 1.

Исправлен неправильный код органа EPSG для установленного ESRI SRID 102100.

Система сопоставления эталонной системы координат (CRS) для SRID 102100 теперь правильно использует ESRI:102100 вместо неправильного EPSG:102100. Это исправление гарантирует, что геопространственные данные хранятся с правильным органом власти для улучшения взаимодействия с другими системами.

Новые функции и улучшения

• Поддержка CREATE OR REPLACE для временных таблиц
• agg()псевдоним функции measure()
• Обновление JDBC-драйвера Snowflake
• pyspark.pipelines.testing Псевдоним пространства имен
• Улучшена производительность списков в автозагрузчике
• История таблицы Delta включает флаги опций записи
• Поддержка перемотки и воспроизведения структурированной потоковой передачи

Поддержка CREATE OR REPLACE для временных таблиц

CREATE OR REPLACE TEMP TABLE Теперь поддерживается синтаксис, позволяющий создавать или заменять временные таблицы в одной инструкции. Это устраняет необходимость явного удаления и повторного создания временных таблиц.

agg() псевдоним для функции measure()

agg() теперь доступен в качестве псевдонима measure() для функции. Это изменение полностью обратно совместимо. Существующие запросы, которые используют measure(), продолжают работать без изменений, и agg() производит идентичные результаты при использовании с теми же аргументами.

Обновление драйвера JDBC Snowflake

Драйвер Snowflake JDBC обновляется с 3.22.0 до 3.28.0.

pyspark.pipelines.testing Псевдоним пространства имен

pyspark.pipelines.testing теперь доступен в качестве удобного псевдонима для dlt.testing API. Импортируйте утилиты тестирования декларативных конвейеров Lakeflow Spark через любое пространство имен.

Улучшена производительность автозагрузчика

Автозагрузчик теперь использует более эффективный метод перечисления, который повышает скорость перечисления для источников облачного хранилища. Если триггеры вашего потока перекрываются из-за длительных операций перечисления, эта оптимизация может привести к увеличению затрат на использование облачного API для перечисления. Отслеживайте интервалы триггеров и настройте планирование, чтобы предотвратить перекрывающиеся операции, если наблюдается увеличение затрат.

Журнал таблиц Delta включает флаги параметров записи

Журнал разностных таблиц (DESCRIBE HISTORY) теперь включает флаги параметра записи в столбце operationParameters для WRITE и REPLACE TABLE операций. Если указанные ниже параметры явно включены, они отображаются как логические флаги в журнале (только если true):

Для операций WRITE и REPLACE TABLE:

• isDynamicPartitionOverwrite: присутствует при использовании режима динамической перезаписи секции
• canOverwriteSchema: присутствует при включении перезаписи схемы (overwriteSchema)
• canMergeSchema: присутствует, когда включено объединение схем (mergeSchema)

Для операций REPLACE TABLE:

• predicate: присутствует при replaceWhere использовании
• isV1WriterSaveAsTableOverwrite: присутствует, когда замена .saveAsTable активируется перезаписью

Поддержка перемотки и воспроизведения структурированной потоковой передачи

Структурированная потоковая передача теперь поддерживает перемотку и воспроизведение для конвейеров потоковой передачи. Эта функция позволяет повторно обработать данные с более ранней точки в потоке для восстановления после сбоев, таких как изменения схемы, некорректные входные данные или ошибки логики, без необходимости полного сброса состояния. Это не изменяет поведение по умолчанию существующих рабочих нагрузок потоковой передачи.

Обновления библиотек

• Обновленные библиотеки Python:

  В этой версии библиотеки не были обновлены.

• Обновленные библиотеки R:

  В этой версии библиотеки не были обновлены.

• Обновленные библиотеки Java:

  • io.delta.delta-sharing-client_2.13 от 1.3.9 до 1.3.10

Apache Spark

Databricks Runtime 18.2 включает Apache Spark 4.1.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 18.1, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• SPARK-56219 Отменить изменения "[SC-225028][PS] Приведение поведения groupby idxmax и idxmin с skipna=False в соответствие с pandas 2/3"
• SPARK-56204Alias Удаление оболочек из встроенных в строку таблицы выражений в синтаксическом анализаторе
• SPARK-56186 Выход на пенсию pypy
• SPARK-56202 Рефакторинг тестов потоковых соединений: разделение иерархии на Base и Suite и упрощение управления режимом
• SPARK-56221 Функциональное соответствие между командами spark.catalog.* и DDL
• SPARK-56301 Исправление опечаток в error-conditions.json
• SPARK-55729 Поддержка средства чтения источников состояния данных для нового формата состояния версии 4 при объединении потока с потоком
• SPARK-56256 Добавление API emptyDataFrame в SparkSession.
• SPARK-56205 Проверка идентификатора контрольной точки хранилища базовых состояний перед фиксацией микробатча
• SPARK-55827 Исправление указания типа для рабочих ролей источника данных
• SPARK-55579 Переименование классов ошибок PySpark так, чтобы они были независимы от типа eval
• SPARK-56247 Исправление резервного поведения и подсказки типа inheritable_thread_target
• SPARK-56244 Уточнение макета класса benchmark в bench_eval_type.py
• SPARK-56262 Удалить ненужное отключение проверки mypy для типов
• SPARK-55969 regr_r2 должен рассматривать первый параметр как зависимые переменные
• SPARK-56179 Консолидация классов ошибок для несоответствия типов — часть 3
• SPARK-55630 Пропустить обновление флага совпадения для не внешней части в потоковом соединении версии 4
• SPARK-56217 Исправление исключений bucketBy при подключении
• SPARK-56225 Улучшить сообщение об ошибке для VIEW WITH EVOLUTION SCHEMA
• SPARK-55865 Переименование _LEGACY_ERROR_TEMP_1266 в CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Переименование _LEGACY_ERROR_TEMP_2045 на UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Используйте функцию ArrowBatchTransformer.enforce_schema для замены логики приведения типов по столбцам.
• SPARK-56245 Исправление присвоения на месте в DataFrame.eval для pandas 3
• SPARK-56062 Изолировать memory_profiler для улучшения времени импорта
• Системный каталог SPARK-55964 выигрывает над пользовательским каталогом для схем BUILTIN и SESSION.
• SPARK-56226 Обнаружение ошибок анализа до InternalFrame.__init__ в .loc
• SPARK-55723 Обобщение ошибки enforce_schema в PySparkTypeError
• SPARK-54878 Добавление параметра sortKeys в функцию to_json
• SPARK-56219 Приведение поведения функций groupby idxmax и idxmin с параметром skipna=False в соответствие с pandas 2/3
• SPARK-44065 Оптимизация перекоса BroadcastHashJoin в OptimizeSkewedJoin
• SPARK-56179 Отмена "[SC-225014][PYTHON] Консолидация классов ошибок для несоответствия типов - часть 3"
• SPARK-53399 Слияние Python определяемых пользователем функций
• SPARK-56224 Улучшение аннотаций типов для accumulators.py
• SPARK-55448 Исправлена потеря событий запроса при закрытии сеанса во время выполнения запроса
• SPARK-55862 Переименование _LEGACY_ERROR_TEMP_2027 в UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Запуск тестов SPARK-49829 с соединениями VCF теперь, когда StateDataSource поддерживает его
• SPARK-56179 Консолидация классов ошибок для несоответствия типов — часть 3
• SPARK-56184 Замена assert на правильное SparkRuntimeException в синтаксическом анализе столбцов секционирования
• SPARK-56206 Исправление обнаружения повторяющихся имен CTE без учета регистра
• SPARK-55866 Переименование _LEGACY_ERROR_TEMP_2145 на OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Отложенный импорт psutil для повышения скорости импорта
• SPARK-56066 Ленивый импорт numpy для повышения скорости импорта
• SPARK-55719 Удаление предупреждения об устаревании для spark.sql.hive.convertCTAS
• SPARK-56179 Консолидация классов ошибок для несоответствия типов — часть 2
• SPARK-55510 Обновить документ structured-streaming-state-data-source.md с целью отражения deleteRange
• SPARK-56050 Немедленно обрабатывать строковые литералы на этапе синтаксического анализа
• SPARK-56151 Улучшение строки отображения CreateVariable
• SPARK-55751 Добавьте метрики в хранилище состояний для загрузок из DFS
• SPARK-56188 Приведение Series.map({}) в соответствие с поведением empty-dict в pandas 3
• SPARK-55964 Возврат "[SC-223957] системный каталог выигрывает над каталогом пользователей для схем BUILTIN и SESSION".
• SPARK-55577 Рефакторинг SQL_SCALAR_ARROW_ITER_UDF логике оболочки, mapper и сериализатора
• SPARK-55596 Фильтрация расширенных статистик секций DSV2
• SPARK-56179 Отмена "[SC-224777][PYTHON] Консолидация классов ошибок для несоответствия типов - часть 2"
• Системный каталог SPARK-55964 выигрывает над пользовательским каталогом для схем BUILTIN и SESSION.
• SPARK-56050 Возврат "[SC-224153][SQL] С нетерпением разрешать IDENTIFIER() с строковыми литералами во время синтаксического анализа"
• SPARK-56179 Консолидация классов ошибок для несоответствия типов — часть 2
• SPARK-56102UnionEstimation очистка кода
• SPARK-51712 Проглотить неустранимые вызовы при разрешении таблиц и представлений в spark.catalog.listTables()
• SPARK-55881 Добавление queryId, errorMessage и rootExecutionId в REST API выполнения SQL
• SPARK-56050 Немедленно разрешать IDENTIFIER() строковые литералы во время синтаксического анализа
• SPARK-55628 Интеграция формата состояния соединения stream-stream версии 4
• SPARK-56187 Исправление порядка сортировки null в Series.argsort для pandas 3
• SPARK-56167 Согласование astype с поведением строк по умолчанию в pandas 3
• SPARK-56018 Использовать ruff в качестве форматтера
• SPARK-56042 Исправление метрик подсчета числа семейств столбцов с поменянными местами внешним и внутренним в RocksDBStateStoreProvider
• SPARK-56179 Консолидация классов ошибок для несоответствия типов — часть 1
• SPARK-56089 Выравнивание asinh/acosh с помощью алгоритма fdlibm для совместимости кросс-двигателя
• SPARK-55453 Исправление сопоставления шаблонов LIKE для дополнительных символов Юникода
• SPARK-52785 Упрощение синтаксиса super() в PySpark
• SPARK-56169 Исправление ClassCastException ошибок GetStructField при изменении дочернего типа путем преобразования плана
• SPARK-55557 Гиперболические функции не должны переполнены большими входными данными
• SPARK-47997 Добавление параметра ошибок в DataFrame.drop и Series.drop.
• SPARK-55008 Отображение идентификатора запроса в SparkUI
• SPARK-54660 Добавление триггера RTM в Python
• SPARK-56047 Распространение через Union в оценке distinctCount статистики CBO
• SPARK-56111 Добавьте SparkContext.isDriver() и используйте его в базе кода
• SPARK-559999 Включение forceSnapshotUploadOnLag по умолчанию
• SPARK-55610 Добавление getExecutorInfos в StatusTracker в Python
• SPARK-55728 Введение настройки для размера пула потоков для контрольной суммы файлов и возможность отключения пула потоков
• SPARK-55686 SizeEstimator заботится о заголовках компактных объектов
• SPARK-56044 HistoryServerDiskManager не удаляет магазин приложений при выпуске, если приложение не находится на активной карте
• SPARK-55809 HeapHistogram использует DiagnosticCommandMBean вместо подпроцесса jmap
• SPARK-56122 Использование проверки числовых dtype с поддержкой pandas в Series.cov
• SPARK-56113 Улучшение восстановления строк pandas 3 в pandas-on-Spark
• SPARK-56118 Приведение к соответствию обработки булевых значений в pandas 3.0 в GroupBy.quantile
• SPARK-53823 Реализация списка разрешений для режима реального времени
• SPARK-55977 Исправление isin() для использования строгого сопоставления типов, как в pandas
• SPARK-54027 Поддержка источника RTM для Kafka
• SPARK-50284 Изменение документов для функции parseJson
• Spark-56035 [SQL] Введение AggregationValidator для проверки однопроходного сопоставителя Aggregate
• SPARK-55557 Возврат "[SC-223720][SQL] Гиперболические функции не должны переполнены большими входными данными".
• SPARK-56075 Удаление пакета мертвых классов ошибок Python
• SPARK-55967 Объединение преобразования столбцов для подключения кадра данных
• SPARK-53915 Добавление RealTimeScanExec и возможность выполнения длительных пакетов
• SPARK-55557 Гиперболические функции не должны переполнены большими входными данными
• SPARK-55147 Установить диапазон меток времени для извлечения временного интервала соединения в формате состояния V4
• SPARK-56056 Поддержка простого профилирования рабочих узлов с использованием viztracer
• SPARK-55948 Добавление API соединителя DSv2 CDC, разрешения анализатора и предложения SQL CHANGES
• SPARK-54599 Повторное применение "[SC-219008][PYTHON] Рефакторинг PythonExcept...
• SPARK-55390 Консолидация логики SQL_SCALAR_ARROW_UDF враппера, маппера и сериализатора
• SPARK-56023 Улучшение балансировки нагрузки в LowLatencyMemoryStream
• SPARK-55986 Обновление Black до версии 26.3.1
• SPARK-55667 Переместить check_dependencies в init
• SPARK-55145 Поддержка Avro для кодировщиков ключей состояния RocksDB на основе метки времени
• SPARK-53970 Удалите неправильный тег "необязательный" для messageName...
• SPARK-55059 Вернитесь на "[SC-224058][PYTHON] Удаление пустого обходного решения таблицы в toPandas"
• SPARK-50111 Добавление поддержки подграфиков для круговых диаграмм в серверной части Plotly
• SPARK-56081 Выравнивание idxmax и idxmin NA обработки с помощью pandas 3
• SPARK-56080 Приведение Series.argmax/argmin в соответствие с обработкой NA в pandas 3.0
• SPARK-56060 Обработка преобразования строк NULL в pandas 3 в функции describe() для пустых кадров метки времени
• SPARK-55059 Удаление обходного решения для пустой таблицы в toPandas
• SPARK-55995 Поддержка TIMESTAMP WITH LOCAL TIME ZONE в синтаксисе SQL
• SPARK-55976 Используйте Set вместо Seq для привилегий записи
• SPARK-56073 Упрощение сборки PythonRunnerConfMap
• SPARK-55887 Особая обработка CollectLimitExec/CollectTailExec чтобы избежать полного сканирования таблицы
• SPARK-55980 Всегда применять _cast_back_float в числовых вычислениях
• SPARK-55357 Исправление докстринга для timestamp_add
• SPARK-55667 Возврат "[SC-223289][PYTHON][CONNECT] Перемещение check_dependencies в init"
• SPARK-54285 Отменить изменение "[PYTHON] Кэширование сведений о часовом поясе для предотвращения ресурсоёмкого преобразования меток времени"
• SPARK-56021 Увеличьте значение по умолчанию для порога AutoSnapshotRepair maxChangeFileReplay с 50 до 500
• SPARK-55870 Добавление документов для геотипов
• SPARK-55962 Используйте getShort вместо getInt приведения по putShortsFromIntsLittleEndian на платформах Little Endian
• SPARK-55903 Упрощение эволюции схемы MERGE и проверки прав на запись
• SPARK-55326 Выпуск удаленного сеанса при установке SPARK_CONNECT_RELEASE_SESSION_ON_EXIT
• SPARK-55667 Переместить check_dependencies в init
• SPARK-55884 Добавление v1StatsToV2Stats в DataSourceV2Relation
• SPARK-55929 Добавить недостающий toString() в TableChange.UpdateColumnDefaultValue
• SPARK-55851 Уточнение типов секции источника данных и чтение
• SPARK-55828 Добавление DSV2 TableChange toString и исправление отсутствующих классов ошибок для слияния в схему эволюции
• SPARK-55790 Создание полного реестра SRS с помощью данных PROJ 9.7.1
• SPARK-55645 Добавить serdeName в CatalogStorageFormat
• SPARK-54796 Исправление NPE из-за гонки состояний между инициализацией исполнителя и миграцией shuffle.
• SPARK-55983 Новые функции однопроходного анализатора и исправления ошибок
• SPARK-55964 Согласованность кэша: очистка реестра функций в DROP DATABASE
• SPARK-55868 Исправление pushdown предиката для InMemoryTable для V2Filters
• SPARK-55973 Оптимизация LeftSemi для соединения потоков в потоковом режиме
• SPARK-54665 Исправление сравнения логического значения и строки для соответствия поведению pandas
• SPARK-55539 Разрешить приведение из GeographyType в GeometryType
• SPARK-55695 Избегайте двойного планирования в операциях на уровне строк
• SPARK-55904 Использовать _check_same_session для сужения типов
• SPARK-55965 Добавление предупреждения при использовании pandas >= 3.0.0 с PySpark
• SPARK-55493 [SS] Не создавать каталоги в журнале контрольной точки потока для смещения и фиксации в StateDataSource.
• SPARK-55851 Отменить изменения "[SC-223270][PYTHON] Уточнить типы секций источника данных и операции чтения"
• SPARK-55645 Отмена "[SC-221839][SQL] Добавление serdeName в CatalogStorageFormat"
• SPARK-55640 Распространение ошибок синтаксического анализа WKB для Geometry и Geography
• SPARK-55693 Избегайте взаимоблокировки, делая SparkSession.observationManager не ленивым val
• SPARK-55528 Добавление поддержки сортировки по умолчанию для определяемых пользователем sql файлов
• SPARK-55860 Используйте UNABLE_TO_INFER_SCHEMA вместо UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Добавление состояний SQL InvalidPlanInput для sql/connect
• SPARK-55645 Добавить serdeName в CatalogStorageFormat
• SPARK-55716 Поддержка принудительного применения ограничений NOT NULL для вставки исходной таблицы файлов версии 1
• SPARK-53226 Сделать ClosureCleaner совместимым с Java22+
• SPARK-55997 Установка верхнего предела для префиксаScan в поставщике хранилища состояний RocksDB
• SPARK-55851 Уточнение типов секции источника данных и чтение
• SPARK-55954 Удаление неверного указания типа перегрузки для fillna
• SPARK-56016 Сохранение именованных столбцов серии в сцепе с ignore_index на pandas 3
• SPARK-55502 Объединение обработки ошибок преобразования UDF и UDTF Arrow
• SPARK-55989 Сохранение типов индексов, отличных от int64, в restore_index
• SPARK-55955 Удаление указания типа перегрузки для удаления
• SPARK-55945 [SDP] Поддержка структурированных идентификаторов для потоков в прототипах быстрого анализа SDP
• SPARK-55714 JDK может вызвать ArithmeticException без сообщения
• SPARK-55991 Исправление повреждения текста SQL в юникоде с параметрами
• SPARK-55696 Добавление явной ошибки в Encoders.bean для класса интерфейса
• SPARK-55533 Поддержка IGNORE NULLS / RESPECT NULLS для collect_set
• SPARK-55987 Исправление извлечения метки времени для оконного соединения версии 4 с помощью findJoinKeyOrdinalForWatermark
• SPARK-55946 Настройка pandas_priority так что смешанные двоичные операции отправляются правильно в pandas-on-Spark
• SPARK-55264 Добавление команды ExecuteOutput в конвейеры Spark Connect proto
• SPARK-47672 Избегайте двойной оценки от фильтра при совместном использовании с понижением проекции
• SPARK-55780 Замена логотипа PNG на SVG в веб-интерфейсе Spark
• SPARK-55821 Принудительное применение аргументов только для ключевых слов в методах инициализации сериализатора
• SPARK-55621 Исправление неоднозначного и ненужного использования юникода
• SPARK-55662 Реализация аргумента оси idxmin
• SPARK-55631ALTER TABLE Должен быть недопустимый кэш для таблиц DSv2
• SPARK-55692 Исправление документации для SupportsRuntimeFiltering и SupportsRuntimeV2Filtering
• SPARK-55928 Новая функция linter для эффективности конфигурации в представлениях и определяемых пользователем учетных данных
• SPARK-55440 Платформа типов — этап 1a — Core Type System Foundation
• SPARK-55631 Отмена "[SC-221596][SQL] ALTER TABLE должен очищать кэш для таблиц DSv2".
• SPARK-55631ALTER TABLE должен сбрасывать кэш для таблиц DSv2
• SPARK-55683 Оптимизировать VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 Исправление не удалось загрузить хранилище состояний, так как повторно использованный SST-файл был удален по обслуживанию
• SPARK-55946 Отмена изменений "[SC-223027][PS] Настройка pandas_priority чтобы смешанные двоичные операции правильно направлялись в pandas-on-Spark"
• SPARK-55891 Сохранение контекста скриптов SQL внутри EXECUTE IMMEDIATE
• SPARK-55907 Исправление некорректных позиций ошибок для недопустимых типов данных в CREATE FUNCTION
• SPARK-55946 Настройка pandas_priority так что смешанные двоичные операции отправляются правильно в pandas-on-Spark
• SPARK-55694 Ограничения блокировки в CTAS/RTAS на уровне синтаксического анализа
• SPARK-55682 Итератор, возвращаемый ServiceLoader, может выдать NoClassDefFoundErrorhasNext()
• SPARK-55155 Исправление SETCATALOG для использования специальных символов и обратных апострофов в имени идентификатора
• SPARK-55932 Исправление проблемы зависания парсера XML для варианта при отрицательной шкале
• SPARK-55673 Добавление дополнительных тестов для кодировщика вложенных типов
• SPARK-55679 Исправление дектектинга sun.io.serialization.extendedDebugInfo на Java 25
• SPARK-55957 Добавьте "DATA_SOURCE_NOT_FOUND" в Catalog.ERROR_HANDLING_RULES
• SPARK-55052 Добавление свойств AQEShuffleRead в дерево физического плана
• SPARK-55652 Оптимизация при помощи прямого доступа к массивам для кучевых буферов
• SPARK-55659 Улучшение EventLogFileWriter операции журнала stop
• SPARK-54666 Оставьте числовые типы без изменений to_numeric
• SPARK-55654 Включение обрезки TreePattern для EliminateSubqueryAliases и ResolveInlineTables
• SPARK-55533 Отмена изменений "[SC-220538][SQL] Поддержка ИГНОРИРОВАТЬ NULL/УЧИТЫВАТЬ NULL для collect_set"
• SPARK-55901 Создайте ошибку из Series.replace() без аргументов
• SPARK-55896 Используйте функции numpy вместо встроенных
• SPARK-55655 Сделать CountVectorizer словарь детерминированным, когда значения равны
• SPARK-55811 [SQL] Catch NonFatal вместо UnresolvedException при вызове nodeWithOutputColumnsString
• SPARK-55533 Поддержка IGNORE NULLS / RESPECT NULLS для collect_set
• SPARK-55435 Используйте StringBuilder вместо StringBuffer
• SPARK-54807 Разрешить квалифицированные имена для встроенных функций и функций сеанса (#198171)
• SPARK-55854 Пометить сквозные дублирующие атрибуты в выходных данных операции Expand, чтобы предотвратить AMBIGUOUS_REFERENCE
• SPARK-55261 Реализация поддержки чтения Parquet для геотипов
• SPARK-55416 Утечка памяти источника потоковых данных Python, когда конечное смещение не обновляется
• SPARK-55465 Поддержка GeometryType в функции convert_numpy
• SPARK-55801 Исправить тип подсказки _SimpleStreamReaderWrapper.getCache
• SPARK-55800 Удалите неиспользуемый флажок типа datetime.date
• SPARK-55663 Объединение модуля для функций источника данных
• SPARK-55665 Унификация процесса установления связи рабочих с исполнителем
• SPARK-53446 Оптимизация операций удаления BlockManager с помощью кэшированных сопоставлений блоков
• SPARK-55867 Исправить StringMethods в pandas 3
• SPARK-55501 Исправление listagg distinct + в порядке группы по ошибке
• SPARK-55558 Добавление поддержки операций над множествами кортежей и Theta.
• SPARK-55636 Добавление подробных ошибок в случае дедупликации недопустимых столбцов
• SPARK-55788 Поддержка ExtensionDType для целых чисел в UDF Pandas
• SPARK-55464 Поддержка GeographyType в convert_numpy
• SPARK-55530 Поддержка географических наборов данных в серверах Hive и Thrift
• SPARK-55525 Исправление ошибки UDTF_ARROW_TYPE_CONVERSION_ERROR с неопределённым параметром сообщения об ошибке
• SPARK-55626 Не загружайте столбцы метаданных в таблицу, если не требуется в V2TableUtil
• SPARK-55533 Отмена "[SC-220538][SQL] Поддержка ИГНОРИРОВАТЬ NULL / УЧИТЫВАТЬ NULL для collect_set"
• SPARK-55435 Отмена "[SC-219656][CORE][SQL] Использование StringBuilder вместо StringBuffer"
• SPARK-55533 Поддержка IGNORE NULLS / RESPECT NULLS для collect_set
• SPARK-54452 Исправлена пустая реакция сервера SparkConnect для spark.sql(...) внутри FlowFunction
• SPARK-55638 Рефакторинг сериализации WKT в GeometryModel
• SPARK-55551 Улучшение BroadcastHashJoinExec секционирования выходных данных
• SPARK-54314 Улучшение отладки на стороне сервера в Spark Connect путем записи имени файла и номеров строк клиентского приложения
• SPARK-55517 Оптимизировать VectorizedPlainValuesReader.readBytes() с помощью прямого доступа к массивам для буферов кучи
• SPARK-55495 Исправление EventLogFileWriters.closeWriter для обработки checkError
• SPARK-55279 Добавить sketch_funcs группу для функций SQL DataSketches
• SPARK-55435 Используйте StringBuilder вместо StringBuffer
• SPARK-55064 Поддержка повторной попытки перетасовки при неопределенном уровне запроса
• SPARK-55411 SPJ может вызвать исключение ArrayIndexOutOfBoundsException, если ключи соединения меньше, чем ключи кластера
• SPARK-55451 Курсоры должны начать сбор результатов при OPEN, а не при первом FETCH.
• SPARK-54687 Добавьте больше краевых случаев с генераторами
• SPARK-55691 Клиент GetStatus
• SPARK-55277 Добавить protobuf_funcs группу для функций SQL Protobuf
• SPARK-55822 Переименование _LEGACY_ERROR_TEMP_0052 в CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Устранение непредвиденного исключения в некоторых тестовых случаях CoarseGrainedExecutorBackendSuite
• SPARK-55275 Покрытие состояния SQL: IllegalStateException
• SPARK-55462 Повторное применение "[SC-221123][PYTHON] Support VariantType в convert_numpy"
• SPARK-55062 Поддержка расширений proto2 в функциях protobuf
• SPARK-55248 Очистка нерекомендуемого использования API Джексона в streaming.checkpointing.Checksum
• SPARK-55250 Сокращение вызовов клиента Hive в CREATE NAMESPACE
• SPARK-55247 Очистка устаревшего использования API, связанного с o.a.c.io.input.BoundedInputStream
• Spark-55198 spark-sql должен игнорировать строки комментариев с ведущими пробелами
• SPARK-55826 Переименование _LEGACY_ERROR_TEMP_0006 в MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Добавление группы avro_funcs для функций Avro SQL
• SPARK-54914 [SQL] Исправление оператора DROP в синтаксисе канала для поддержки квалифицированных имен столбцов
• SPARK-55113EnsureRequirements должен копировать теги
• SPARK-55074 Добавить тест для слияния с приведением типов ANSI
• SPARK-54217 Синхронизация решения о завершении работы MonitorThread в PythonRunner
• SPARK-54374 Увеличение размера атрибута viewBox SVG для инициализации визуализации плана SQL
• SPARK-54971 Добавление синтаксиса WITH SCHEMA EVOLUTION для SQL INSERT
• SPARK-55065 Избегайте двух вызовов API JDBC
• SPARK-55033 Исправление аргументов строк в командах записи DSv2
• SPARK-55041 Очистка некоторых неиспользуемых приватных funcion/val элементов из основного модуля
• SPARK-55338 Централизованная логика распаковки запроса Spark Connect в перехватчике gRPC
• SPARK-55825 Переименование _LEGACY_ERROR_TEMP_1309 в PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Проверка того, что eventTime в withWatermark является столбцом верхнего уровня
• SPARK-55802 Исправление целочисленного переполнения при вычислении пакетных байтов со стрелкой
• SPARK-55694 Ограничения блокировки в CTAS/RTAS на уровне синтаксического анализа
• SPARK-55843 Обработка единицы dtypes datetime64 и timedelta64
• SPARK-55824 Переименование _LEGACY_ERROR_TEMP_1034 в WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Рефакторинг ExpandExec, чтобы сделать его более лаконичным
• SPARK-55341 Добавление флага уровня хранилища для кэшированных локальных отношений
• SPARK-54599 Вернитесь на "[SC-219008][PYTHON] Рефакторинг PythonException, чтобы он смог принять errorClass с sqlstate"
• SPARK-46167 Добавление реализации оси в DataFrame.rank
• SPARK-54599 Рефакторинг PythonException, чтобы он мог принимать errorClass с sqlstate
• SPARK-55529 Повторное применение [ES-1721989][SC-220716][PYTHON] Восстановление пакетного слияния на уровне Arrow для применения в Pandas без итератора
• SPARK-55794 Всегда псевдонимы OuterReference
• SPARK-55583 Проверка типов схем со стрелками в источнике данных Python
• SPARK-37711 Сокращение количества заданий из O(N) в O(1)
• SPARK-46168 Добавление аргумента оси для idxmax
• SPARK-46162 Реализация nunique по оси=1
• SPARK-55552 Добавление поддержки VariantType в ColumnarBatchRow.copy() и MutableColumnarRow
• SPARK-55647 Исправление ConstantPropagation неправильной замены атрибутов не двоичными стабильными параметрами сортировки
• SPARK-55747 Исправление NPE при доступе к элементам из массива с значением NULL
• SPARK-55757 Улучшение spark.task.cpus проверки
• SPARK-55699 Несогласованное чтение LowLatencyClock при использовании вместе с ManualClock
• SPARK-55702 Поддержка предиката фильтра в функциях статистической обработки окон
• SPARK-55510 Исправлено удаление хранилища состояний Rocksdb для вызова changelogWriter
• SPARK-55739 Оптимизация OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian использования Platform.copyMemory на небольших платформах
• SPARK-55730 Не преобразовывать часовой пояс в нижний регистр
• SPARK-55701 ES-1694761[SS] Исправление условия гонки в CompactibleFileStreamLog.allFiles
• SPARK-55462 Отмена "[SC-221123][PYTHON] Поддержка VariantType в convert_numpy"
• SPARK-55144 Введение новой версии формата состояния для эффективного соединения потоков
• SPARK-55606 Реализация API GetStatus на стороне сервера
• SPARK-55462 Поддержка VariantType в convert_numpy
• SPARK-55600 Исправление для pandas на arrow приводит к потере количества строк, если в классической версии схема содержит 0 столбцов
• SPARK-55700 Исправление обработки целых ключей в рядах с индексом без целочисленного числа
• SPARK-55349 Консолидация утилит для преобразования pandas в Arrow в сериализаторах
• SPARK-55681 Исправление равенства единичного типа DataType после десериализации (повторная попытка)
• SPARK-55681 Отменить изменения "[SC-221427][SC-214079][SQL] Исправление равенства одиночных типов данных после десериализации"
• SPARK-55681 Исправление проблемы равенства DataType для одиночных объектов после десериализации
• SPARK-55674 Оптимизация конвертации таблицы без столбцов в Spark Connect
• SPARK-55323 Повторное применение "[SC-218885][PYTHON] Перемещение метаданных UDF в EvalConf для упрощения рабочего протокола"
• SPARK-55322 Повторное применение [SC-221062][SQL] MaxBy и MinBy Overload с элементами K
• SPARK-55323 Возврат "[SC-218885][PYTHON] Перемещение метаданных UDF в EvalConf для упрощения рабочего протокола"
• SPARK-55615 Перемещение импорта SparkContext в ветвь класса
• SPARK-55323 Перемещение метаданных UDF в EvalConf для упрощения рабочего протокола
• SPARK-55648 Обработка непредвиденной ошибки groupby(axis) аргумента ключевого слова с помощью pandas 3
• SPARK-55647 Возврат "[SC-221274][SQL] Исправлена ConstantPropagation неправильно замена атрибутов не двоичными стабильными параметрами сортировки"
• SPARK-55646 Рефакторинг SQLExecution.withThreadLocalCaptured для разделения локального захвата потока от выполнения
• SPARK-54854 Добавление запроса UUIDv7 в события SQLExecution
• SPARK-55619 Исправление пользовательских метрик в случае объединения секций
• SPARK-55647 Исправление ConstantPropagation неправильной замены атрибутов не двоичными стабильными параметрами сортировки
• SPARK-55322 Возврат "[SC-221062][SQL] MaxBy и MinBy перегрузка с элементами K"
• SPARK-54740 Запуск обработчика ошибок рано в режиме демона
• SPARK-55493 [SS] Не мкдиры в каталоге состояния контрольной точки потоковой передачи в StateDataSource
• SPARK-55322MaxBy и MinBy перегрузка с элементами K
• SPARK-55625 Исправление StringOps для правильной работы str dtype
• SPARK-55161 Повторно применить "[SC-218867][PYTHON] Поддержка профилировщиков для источника данных Python"
• SPARK-55505 Исправление NPE при чтении EXECUTION_ROOT_ID_KEY в параллельных сценариях
• SPARK-55111 Повторная проверка незавершенного обнаружения повторной части при перезапуске запроса
• SPARK-55593 Объединение состояния агрегирования для vector_avg/vector_sum
• SPARK-55500 Исправлен цикл анализатора между ApplyDefaultCollationи ExtractWindowExpressionsCollationTypeCasts
• SPARK-55494 Введение итератора или префиксаScan с несколькими значениями в API StateStore
• SPARK-55561 Добавление повторных попыток для всех методов клиента администратора Kafka
• SPARK-55296 Поддержка режима CoW с pandas 3
• SPARK-55479 Устранение проблем с стилем в SparkShreddingUtils
• SPARK-55372 Исправление SHOW CREATE TABLE для таблиц и представлений с параметрами сортировки по умолчанию
• SPARK-553333 Включение DateType и TimeType включение convert_numpy
• SPARK-55129 Введите новые кодировщики ключей для метки времени в качестве первого класса (UnsafeRow)
• SPARK-46163 Параметры DataFrame.update filter_func и ошибки
• SPARK-55372 Отмена "[SC-220571][SQL] Исправление SHOW CREATE TABLE для таблиц и представлений с сортировкой по умолчанию"
• SPARK-55480 Удалить все неиспользуемые noqa для ruff
• SPARK-55471 Добавление поддержки оптимизатора для SequentialStreamingUnion
• SPARK-55584 Создание более эффективной ошибки при скалярном подзапросе в EXEC IMMEDIATE
• SPARK-55161 Возврат "[SC-218867][PYTHON] Поддержка профилировщиков в источнике данных Python"
• SPARK-55506 Передайте явно заданную входную схему to_pandas в CogroupPandasUDFSerializer
• SPARK-55586 Добавление jdbc.py примера
• SPARK-55161 Поддержка профилировщиков в источнике данных Python
• SPARK-55529 Отмена "[SC-220716][PYTHON] Восстановление слияния пакетов на уровне Arrow для неитератора applyInPandas"
• SPARK-55385 Устранение повторной компиляции в zipWithIndex
• SPARK-55529 Восстановление пакетного слияния со стрелками для неитератора applyInPandas
• SPARK-55389 Консолидация логики враппера, маппера и сериализатора
• SPARK-55406 Повторное выполнение пула потоков для ExecutePlanResponseReattachableIterator
• SPARK-55372 Исправление SHOW CREATE TABLE для таблиц и представлений с параметрами сортировки по умолчанию
• SPARK-55367 Использование venv для тестов run-pip-test
• SPARK-55355 Обновление версии mypy до последней версии
• SPARK-55460 Удалить E203 из списка игнорирования ruff
• SPARK-55541 Поддержка геометрии и географии в конвертерах типов catalyst
• SPARK-55449 Включение синтаксического анализа И записи WKB для Geography
• SPARK-55339 Реализация поддержки записи WKT для геообъектов
• SPARK-54122 Реализация TwsTester в Scala
• SPARK-54805 Реализация TwsTester в PySpark
• SPARK-55256 Повторное применение "[SC-218596][SQL] Поддержка IGNORE NULLS / RESPECT NULLS для array_agg и collect_list"
• SPARK-55156 Сделка с include_groupsgroupby.apply
• SPARK-55401 Добавление логики повторных попыток и обработки времени ожидания в скачивание установки pyspark
• SPARK-55229 Реализация DataFrame.zipWithIndex в PySpark
• SPARK-55462 Поддержка UserDefinedType в convert_numpy
• SPARK-55483 Исправление NPE в PivotFirst, если столбец сводной таблицы является не атомарным типом со значениями NULL
• SPARK-55490 Сделать так, чтобы groupby(as_index=False) включала группировку, которая отсутствует в DataFrame с использованием pandas 3
• SPARK-55473 Замените itertools.tee цепочкой в applyInPandasWithState
• SPARK-55404 Всегда выбрасывать KeyboardInterrupt из обработчика SIGINT
• SPARK-55407 Замените logger.warn на logger.warning

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

• Операционная система: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R установлены из снимка CRAN Posit диспетчер пакетов от 2025-11-20.

Установленные Java и библиотеки Scala (версия кластера Scala 2.13)