Databricks Runtime 17.1

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 17.1, con tecnología de Apache Spark 4.0.0.

Azure Databricks publicó esta versión en agosto de 2025.

Nuevas características y mejoras

• Expresiones SQL espaciales expandidas y tipos de datos GEOMETRY y GEOGRAPHY
• Expresiones de tabla comunes recursivas (GA)
• Funciones de Tabla Definidas por el Usuario de Unity Catalog (UDTF)
• Compatibilidad con intercalación predeterminada a nivel de esquema y catálogo
• Entorno de ejecución de aislamiento compartido para UDF de Python del catálogo de Unity de Batch
• Mejor control de las opciones json con VARIANT
• display() admite el modo de transmisión Real-Time
• El origen de cambio admite el modo de streaming en tiempo real
• Temporizadores de eventos admitidos para ventanas basadas en tiempo
• Las UDF de Python escalares admiten credenciales de servicio
• Lista de esquemas mejorada
• Asignación de columnas de cadena mejorada en escrituras de Redshift
• Compatibilidad con DDL, SHOW y DESCRIBE en tablas controladas por acceso
• Uso reducido de memoria para esquemas anchos en Photon Writer
• Compatibilidad con la sintaxis TIMESTAMP WITHOUT TIME ZONE

Expresiones SQL espaciales expandidas y tipos de datos GEOMETRY y GEOGRAPHY

Ahora puede almacenar datos geoespaciales en columnas integradas GEOMETRY y GEOGRAPHY para mejorar el rendimiento de las consultas espaciales. Esta versión agrega más de 80 nuevas expresiones SQL espaciales, incluidas las funciones para importar, exportar, medir, construir, editar, validar, transformar y determinar relaciones topológicas con combinaciones espaciales. Consulte ST funciones geoespaciales, GEOGRAPHY tipo y GEOMETRY tipo.

Expresiones de tabla comunes recursivas (GA)

Las expresiones de tabla comunes recursivas (rCTEs) ahora están disponibles con carácter general. Use rCTEs para navegar por los datos jerárquicos con un CTE de referencia automática y UNION ALL para seguir las relaciones recursivas.

Funciones de tabla definidas por el usuario en Catálogo de Unity Python (UDTF)

Ahora puede registrar las UDF de Python en el Catálogo de Unity para la gobernanza centralizada y la lógica reutilizable en las consultas SQL. Consulte Funciones de tabla definidas por el usuario (UDF) de Python en el catálogo de Unity.

Compatibilidad con la intercalación predeterminada a nivel de esquema y de catálogo

Ahora puede establecer una intercalación predeterminada para esquemas y catálogos en Databricks Runtime 17.1. Esto le permite definir una intercalación que se aplica a todos los objetos creados en el esquema o catálogo, lo que garantiza un comportamiento coherente de intercalación en los datos.

Entorno de ejecución de aislamiento compartido para UDF de Python del catálogo de Unity de Batch

Las UDF de Python del catálogo de Batch unity con el mismo propietario ahora pueden compartir un entorno de aislamiento de forma predeterminada. Esto puede mejorar el rendimiento y reducir el uso de memoria al reducir el número de entornos independientes que deben iniciarse.

Para asegurarse de que una UDF siempre se ejecuta en un entorno totalmente aislado, agregue la STRICT ISOLATION cláusula de característica. Consulte Aislamiento del entorno.

Mejor control de las opciones json con VARIANT

Las from_json funciones y to_json ahora aplican correctamente las opciones JSON al trabajar con esquemas de nivel VARIANT superior. Esto garantiza un comportamiento coherente con otros tipos de datos admitidos.

display() admite el modo Streaming Real-Time

Puede usar la función display() con consultas de streaming que usan un desencadenador en tiempo real. En este modo, display() utiliza automáticamente el modo de salida de update y evita agregar una cláusula LIMIT, que no es compatible con update. El intervalo de refresco de pantalla también se desacopla de la duración del lote para mejorar el soporte de la respuesta en tiempo real.

El origen de cambio admite el modo de streaming en tiempo real

El origen de cambio en flujo estructurado ahora funciona con activadores en tiempo real, lo que permite la generación continua de datos para canalizaciones de datos en tiempo real utilizando el modo de streaming en tiempo real.

Temporizadores de eventos admitidos para ventanas basadas en tiempo

Azure Databricks admite desencadenantes basados en el tiempo de los eventos para operaciones de ventana basadas en el tiempo en el modo de streaming Real-Time. Esto permite un manejo más preciso de los datos retrasados y el marcado de tiempo en las consultas de streaming en tiempo real.

Las UDF de Python escalares admiten credenciales de servicio

Las UDF escalares de Python pueden usar credenciales de servicio del catálogo de Unity para acceder de forma segura a servicios en la nube externos. Esto es útil para integrar operaciones como la tokenización basada en la nube, el cifrado o la administración de secretos directamente en las transformaciones de datos.

Lista de esquemas mejorada

El conector snowflake usa la INFORMATION_SCHEMA tabla en lugar del SHOW SCHEMAS comando para enumerar esquemas. Este cambio quita el límite de 10 000 esquemas del enfoque anterior y mejora la compatibilidad con las bases de datos con un gran número de esquemas.

Mejoras en el mapeo de columnas de cadenas en operaciones de escritura de Redshift

Al escribir tablas en Redshift mediante spark.write, las columnas de cadena sin una longitud explícita se asignan a VARCHAR(MAX) en lugar de TEXT. Esto evita el comportamiento predeterminado de Redshift de interpretar TEXT como VARCHAR(256), lo que podría provocar errores al escribir cadenas más largas.

Compatibilidad con DDL, SHOW y DESCRIBE en tablas controladas por acceso

Los comandos SQL como DDL, SHOWy DESCRIBE ahora se ejecutan en tablas controladas por acceso específicas mediante clústeres dedicados. Cuando sea necesario aplicar controles de acceso, Azure Databricks enruta estos comandos a través de computación sin servidor, al igual que lo hace para lecturas, combinaciones y adiciones. Consulte Compatibilidad con DDL, SHOW, DESCRIBE y otros comandos.

Uso reducido de memoria para esquemas anchos en Photon Writer

Se realizaron mejoras en el motor Photon que reduce significativamente el uso de memoria para esquemas anchos, abordando escenarios que anteriormente provocaron errores de memoria insuficiente.

Compatibilidad con la sintaxis TIMESTAMP WITHOUT TIME ZONE

Ahora puede especificar TIMESTAMP WITHOUT TIME ZONE en lugar de TIMESTAMP_NTZ. Este cambio mejora la compatibilidad con SQL Standard.

Cambios de comportamiento

• Problema de correlación de subconsulta resuelto
• Los literales NTZ de marca de tiempo ya no se insertan
• Error lanzado por restricciones no válidas CHECK
• El conector pulsar ya no expone Bouncy Castle
• Auto Loader usa eventos de archivo de forma predeterminada si están disponibles
• Propiedades de tabla internas filtradas desde SHOW CREATE TABLE
• Reglas más estrictas para las combinaciones de secuencia en modo de anexión
• El conector de Teradata corrige la comparación de cadenas que distinguen mayúsculas de minúsculas.

Problema de correlación de subconsulta resuelto

Azure Databricks ya no correlaciona incorrectamente expresiones de agregado semánticamente iguales entre una subconsulta y su consulta externa. Anteriormente, esto podría provocar resultados de consulta incorrectos.

Los literales NTZ de marca de tiempo ya no se insertan

Para el conector de Snowflake y Snowflake Lakehouse Federation, los literales TIMESTAMP_NTZ (marca de tiempo sin zona horaria) ya no se insertan en Snowflake. Este cambio evita errores de consulta causados por un control de marca de tiempo incompatible y mejora la confiabilidad de las consultas afectadas.

Error lanzado para restricciones no válidas CHECK

Azure Databricks ahora produce una AnalysisException excepción si no se puede resolver una CHECK expresión de restricción durante la validación de restricciones.

El conector pulsar ya no expone Bouncy Castle

La biblioteca Bouncy Castle ahora está sombreada en el conector Pulsar para evitar conflictos de ruta de clase. Como resultado, los trabajos de Spark ya no pueden acceder a las clases de org.bouncycastle.* del conector. Si el código de la aplicación depende de Bouncy Castle, instale la biblioteca manualmente en el clúster.

Auto Loader usa eventos de archivo de forma predeterminada si están disponibles

Auto Loader usa eventos de archivo en lugar de enumerar directorios cuando la ruta de acceso de carga es una ubicación externa con eventos de archivo habilitados. El valor predeterminado para useManagedFileEvents ahora if_available es (era false). Esto puede mejorar el rendimiento de la ingesta y registra una advertencia si los eventos de archivo aún no están habilitados.

Propiedades de tabla internas filtradas desde SHOW CREATE TABLE

SHOW CREATE TABLE ya no incluye propiedades internas que no se pueden establecer manualmente ni pasar a CREATE TABLE. Esto reduce la confusión y alinea la salida con las opciones configurables por el usuario.

Reglas más estrictas para las combinaciones de secuencia en modo de anexión

Azure Databricks ahora no permite las consultas de streaming en modo de anexión que usan una combinación de secuencia seguida de la agregación de ventanas, a menos que las marcas de agua se definan en ambos lados. Las consultas sin marcas de agua adecuadas pueden producir resultados no finales, infringiendo las garantías del modo de anexión.

El conector de Teradata corrige la comparación de cadenas que distinguen mayúsculas de minúsculas.

El conector de Teradata ahora tiene como valor predeterminado , alineando el comportamiento de comparación de cadenas con Azure Databricks al hacer que distingue mayúsculas TMODE=ANSIde minúsculas. Este cambio es configurable y no afecta a los usuarios existentes a menos que opten por participar.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:

  • google-auth de 2.40.1 a 2.40.0
  • mlflow-skinny de 3.0.0 a 3.0.1
  • opentelemetry-api desde la versión 1.33.0 a la 1.32.1
  • opentelemetry-sdk de 1.33.0 a 1.32.1
  • opentelemetry-semantic-conventions de 0.54b0 a 0.53b1
  • packaging de 24.1 a 24.2
  • pip de 24.2 a 25.0.1

• Bibliotecas de R actualizadas:

• cli de 3.6.4 a 3.6.5

• curl de 6.2.1 a 6.4.0

• genéricos de 0.1.3 a 0.1.4

• globales de 0.16.3 a 0.18.0

• openssl de 2.3.2 a 2.3.3

• pilar de 1.10.1 a 1.11.0

• rlang de 1.1.5 a 1.1.6

• sparklyr de 1.9.0 a 1.9.1

• stringi de 1.8.4 a 1.8.7

• tibble de 3.2.1 a 3.3.0

• utf8 de 1.2.4 a 1.2.6

• Bibliotecas de Java actualizadas:

  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 2.4.1-linux-x86_64 to 2.5.0-linux-x86_64

Apache Spark

Databricks Runtime 17.1 incluye Apache Spark 4.0.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en la versión 17.0, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• SPARK-52721 Corrección del parámetro de mensaje para CANNOT_PARSE_DATATYPE
• SPARK-51919 Permitir sobrescribir el origen de datos de Python registrado estáticamente
• SPARK-52632 Revertir: mostrar los nodos del plan de escritura V2
• SPARK-52715 Cadena SQL bonito de TIME - DAY-TIME INTERVAL
• SPARK-51268 Liberar bloqueo de TreeNode
• SPARK-52701 Corrección de la ampliación de tipos float32 en mod con bool en ANSI
• SPARK-52563 Corrección del error de nomenclatura de variables en _assert_pandas_almost_equal
• SPARK-52541 Adición de una guía de programación para canalizaciones declarativas
• SPARK-51695 Corrección de errores de prueba causados por el cambio de sintaxis CHECK CONSTRAINT
• SPARK-52666 Mapear tipo definido por el usuario para corregir MutableValue en SpecificInternalRow
• SPARK-52660 Agregar tipo de hora a CodeGenerator#javaClass
• SPARK-52693 Soporte de intervalos día-hora ANSI +/- hacia/desde TIME.
• SPARK-52705 Refactorización de la comprobación determinista para expresiones de agrupación
• SPARK-52699 Compatibilidad con la agregación de tipo TIME en modo interpretado
• SPARK-52503 Corrección de la eliminación cuando la columna de entrada no existe
• SPARK-52535 Mejora de la legibilidad del código de la regla ApplyColumnarRulesAndInsertTransitions
• SPARK-52551 Adición de un nuevo predicado v2 BOOLEAN_EXPRESSION
• SPARK-52698 Revertir: mejora de las sugerencias de tipo para el módulo de origen de datos
• SPARK-52684 Hacer que los CACHE TABLE comandos sean atómicos al enfrentarse a errores de ejecución
• SPARK-52671 RowEncoder no buscará un UDT resuelto
• SPARK-52670 Hacer que HiveResult funcione con UserDefinedType#stringifyValue
• SPARK-52692 Compatibilidad con el almacenamiento en caché del tipo TIME
• SPARK-51516 Soporte de TIME por el servidor Thrift
• SPARK-52674 Limpieza del uso de API en desuso relacionadas con RandomStringUtils
• SPARK-51428 Asignación de alias para árboles de expresión intercalados deterministamente
• SPARK-52672 No reemplace las expresiones Sort/Having por alias si existe una expresión en Aggregate
• SPARK-52618 Convertir TIME(n) en TIME(m)
• SPARK-52656 Corregir current_time()
• SPARK-52630 Reorganizar el código y directorios del operador de streaming y la gestión de estado
• SPARK-52649 Recorte de alias antes de buscar coincidencias con expresiones Sort/Having/Filter en buildAggExprList
• SPARK-52578 Adición de métricas para filas para realizar un seguimiento de los casos y acciones en MergeRowsExec
• SPARK-49428 Mover el cliente de Scala de Connect desde Connector a SQL
• SPARK-52494 Compatibilidad con la sintaxis del operador de signo de dos puntos para tener acceso a campos Variant
• SPARK-52642 Usa daemonWorkers.get(worker) para evitar una desincronización inesperada entre idleWorkers y daemonWorkers.
• SPARK-52570 Habilitación de la división por cero para rmod numérico con ANSI habilitado
• SPARK-52633 Desduplicar una salida secundaria de Unión única antes de DesduplicarRelations
• SPARK-52600 Mover CompletionIterator a la common/utils
• SPARK-52626 Permitir la agrupación por el tipo de hora
• SPARK-52395 Fallo en la tarea del reductor de tareas inmediatamente cuando falla la solicitud de obtención de Prism
• SPARK-52596 Pruebe a crear TIMESTAMP_NTZ de fecha y hora
• SPARK-52595 Cambiar el nombre de la expresión TimeAdd a TimestampAddInterval
• SPARK-52586 Introducción a AnyTimeType
• SPARK-52583 Adición de la API de desarrollador para stringificar valores en UserDefinedType
• SPARK-52354 Agregar coerción de tipos a UnionLoop
• [SPARK-52579] Establecer volcado de seguimiento periódico para trabajadores de Python
• SPARK-52456 Reducir el límite mínimo de spark.eventLog.rolling.maxFileSize
• SPARK-52536 Establecer el directorio de extracción de AsyncProfilerLoader en el directorio local de Spark
• SPARK-52405 Extender V2JDBCTest para probar la lectura de varias particiones
• SPARK-52303 Promover ExternalCommandRunner a Estable
• SPARK-52572 Evitar CAST_INVALID_INPUT de DataFrame.isin en modo ANSI
• SPARK-52349 Habilitación de pruebas de división booleanas con ANSI habilitado
• SPARK-52402 Corrección de errores de división por cero en Kendall y en la correlación de Pearson en modo ANSI
• SPARK-52356 Habilitación de la división por cero para mod/rmod booleano con ANSI habilitado
• SPARK-52288 Evitar INVALID_ARRAY_INDEX en split/rsplit cuando el modo ANSI está activado
• SPARK-52557 Evitar CAST_INVALID_INPUT de to_numeric(errors='coerce') en modo ANSI
• SPARK-52440 Adición de una instalación adicional de Python para canalizaciones declarativas
• SPARK-52569 Corrección de la excepción de conversión de clase en SecondsOfTimeWithFraction
• SPARK-52540 Creación de TIMESTAMP_NTZ a partir de fecha y hora
• SPARK-52539 Introducir enlaces de sesión
• SPARK-52554 Evitar varios recorridos de ida y vuelta para la comprobación de configuración en Spark Connect
• SPARK-52553 Corrección de NumberFormatException al leer el registro de cambios v1
• SPARK-52534 Hacer que MLCache y MLHandler sean seguros para subprocesos
• SPARK-52460 Almacenar valores TIME internos como nanosegundos
• SPARK-52482 Compatibilidad con ZStandard para el lector de orígenes de datos de archivos
• SPARK-52531 OuterReference en el agregado de subconsulta está enlazado incorrectamente al agregado de consulta externa
• SPARK-52339 Corrección de la comparación de instancias de InMemoryFileIndex
• SPARK-52418 Agregue una variable de estado noElements al PercentileHeap para evitar cálculos repetitivos de isEmpty()
• SPARK-52537 Imprimir stacktrace al fallar en la creación de un directorio temporal
• SPARK-52462 Aplicar la coerción de tipos antes de la desduplicación de salida secundaria en Union
• SPARK-52528 Habilitar la división por cero para el mod numérico con ANSI habilitado
• SPARK-52458 Compatibilidad con spark.eventLog.excludedPatterns
• SPARK-52493 Compatibilidad con TIMESTAMP WITHOUT TIME ZONE
• SPARK-51563 Compatibilidad con el nombre de tipo completo TIME(n) WITHOUT TIME ZONE
• SPARK-52450 Mejorar el rendimiento de la operación deepcopy del esquema
• SPARK-52519 Habilitar la división por cero para el floordiv numérico con ANSI habilitado
• SPARK-52489 Prohibición de los controladores SQLEXCEPTION y NOT FOUND duplicados dentro del script DE SQL
• SPARK-52488 Quitar alias antes de envolver las referencias externas bajo HAVING
• SPARK-52383 Mejora de errores en SparkConnectPlanner
• SPARK-52335 Unificar el error de recuento de cubos no válido para Connect y Classic
• SPARK-52337 Convertir InvalidPlanInput en un error visible para el usuario
• SPARK-52312 Ignorar V2WriteCommand al guardar en caché el DataFrame
• SPARK-52487 Agregar tiempo y duración de la fase enviada a detalles de StagePage
• SPARK-52433 Unificar la coerción de cadena en createDataFrame
• SPARK-52427 Normalizar la lista de expresiones agregadas que abarca un proyecto
• SPARK-51745 Implementar máquina de estados para RocksDBStateStore
• SPARK-52447 Trasladar la normalización de GetViewColumnByNameAndOrdinal al SessionCatalogSuite
• SPARK-52397 ExecutePlan idempotente: segundo ExecutePlan con el mismo operationId y plan reattaches
• SPARK-52355 Inferir el tipo de objeto VariantVal como VariantType al crear un dataframe
• SPARK-52425 Refactorización de ExtractValue para su reutilización en la implementación de un solo paso
• SPARK-52249 Habilitar la división por cero para truediv numérico con ANSI activado
• SPARK-52228 Integrar el microbenchmark de interacción de estado en Quicksilver (TCP)
• SPARK-48356 Mejorar la inferencia del esquema de columnas de la instrucción FOR
• SPARK-48353 Mejoras en el control de excepciones
• SPARK-52060 Crear un nodo OneRowRelationExec
• SPARK-52391 Refactorización de funciones/vars transformWithStateExec en una clase base para Scala y Python
• SPARK-52218 Hacer que las funciones actuales de datetime se puedan evaluar nuevamente
• SPARK-52350 Vínculo corregido para la guía de programación de SS en la versión 4.0
• SPARK-52385 Quitar TempResolvedColumns del nombre InheritAnalysisRules
• SPARK-52392 Nueva funcionalidad del analizador de paso único
• SPARK-52243 Adición de compatibilidad con NERF para errores InvalidPlanInput relacionados con el esquema
• SPARK-52338 Heredar la intercalación predeterminada del esquema a la vista
• SPARK-52307 Soporte para UDF con iterador Scalar Arrow
• SPARK-52300 Hacer que la resolución UDTVF de SQL use configuraciones coherentes con la resolución de vistas
• SPARK-52219 Soporte de colación a nivel de esquema para tablas
• SPARK-52272 V2SessionCatalog no modifica el esquema en el catálogo de Hive
• SPARK-51890 Agregar options parámetro a la vista Plan lógico
• SPARK-51936 ReplaceTableAsSelect debe sobrescribir la nueva tabla en lugar de anexar
• SPARK-51302 Spark Connect admite JDBC debe usar la API DataFrameReader.
• SPARK-50137 Se produce un error al evitar la reserva a formas incompatibles de Hive en la creación de tablas
• SPARK-52184 Envolver los errores de sintaxis de JDBC del motor externo con una excepción unificada
• SPARK-47618 Usar Magic Committer para todos los buckets S3 de forma predeterminada
• SPARK-52305 Refinar la docstring para isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
• SPARK-52174 Habilitación de spark.checkpoint.compress de forma predeterminada
• SPARK-52224 Introducción de pyyaml como dependencia para el cliente de Python
• SPARK-52233 Corregir map_zip_with para tipos de punto flotante
• SPARK-52036 Agregue el rasgo SQLConfHelper a la versión 2. FileScan
• SPARK-52159 Eliminación de una condición demasiado amplia para el dialecto de MariaDB
• SPARK-50104 Compatibilidad con SparkSession.executeCommand en Connect
• SPARK-52240 Se corrigió el uso del índice de fila al explotar matrices empaquetadas en el lector vectorizado
• SPARK-52153 Resolución de problemas en from_json y to_json con variantes
• SPARK-48618 Mejorar la prueba de inexistencia para comprobar nombres de 3 partes y 2 partes.
• SPARK-52216 Convertir InvalidCommandInput en un error visible para el usuario
• SPARK-52299 Reemplazar JsonNode.fields en desuso
• SPARK-52287 Mejora de SparkContext para no rellenar o.a.s.internal.io.cloud.* si no existe.
• SPARK-51430 Impedir que el registrador de contexto de PySpark propague los registros a stdout
• SPARK-52278 UDF de flecha escalar admite argumentos con nombre
• SPARK-52026 Bloquear la API de Pandas en Spark en modo ANSI de forma predeterminada
• SPARK-52171 Implementación de la unión de StateDataSource para estado v3
• SPARK-52159 Gestión adecuada de la comprobación de existencia de tablas para dialectos JDBC
• SPARK-52158 Agregar el objeto InvalidInputErrors para centralizar los errores en SparkConnectPlanner
• SPARK-52195 Corrección del problema de eliminación de la columna de estado inicial en Python TWS
• SPARK-52211 Quitar el sufijo $ del registro info de SparkConnectServer
• SPARK-52239 Compatibilidad con el registro de una UDF de flecha
• SPARK-52215 Implementación de UDF de flecha escalar
• SPARK-52188 Corrección para StateDataSource donde no se ha establecido StreamExecution.RUN_ID_KEY
• SPARK-52189 Nuevas pruebas de archivos dorados para NATURAL JOIN con GROUP BY, HAVING, ORDER BY y LCAs
• SPARK-52079 Normalizar el orden de los atributos en listas de proyectos internos
• SPARK-52234 Corrección del error en la entrada que no es de cadena para schema_of_csv/xml
• SPARK-52221 Refactorización de SqlScriptingLocalVariableManager en un administrador de contextos más genérico
• SPARK-52181 Aumento del límite de tamaño de variante a 128MiB
• SPARK-52217 Omitir la validación de referencia externa en Filtro en la resolución de paso único
• SPARK-51260 Mover V2ExpressionBuilder y PushableExpression al módulo Catalyst
• SPARK-52156 Colocar CREATE TEMPORARY TABLE ... heredada utilizando el proveedor bajo la bandera.
• SPARK-51012 Eliminación de SparkStrategy de Connect Shims
• SPARK-52109 Agregar la API listTableSummaries a la API del Catálogo de Tablas V2 del origen de datos.
• SPARK-50915 Agregar getCondition y dejar de usar getErrorClass en PySparkException
• SPARK-52022 Adición del método predeterminado check in para SparkThrowable.getQueryContext
• SPARK-51147 Refactorización de clases relacionadas con el streaming en un directorio de streaming dedicado
• SPARK-52120 Pasar la sesión a ConnectHelper
• SPARK-52021 Patrones de expresión y operador independientes
• SPARK-51722 Eliminación del origen "stop" de ParseException
• SPARK-52096 Reclasificar el error de aserción de offset de fuente de Kafka
• SPARK-51985 Quitar experimental de AccumulatorSource
• SPARK-51156 Compatibilidad con la autenticación de tokens estáticos en Spark Connect
• SPARK-52157 Uso del nombre calculado anteriormente para OuterReference en la resolución de paso único
• SPARK-52100 Habilitar la invalidación del límite de nivel de recursividad en la sintaxis
• SPARK-51605 Cree el directorio primario antes de tocar el archivo logFile.
• SPARK-52127 Exprimir el protocolo de MapState KEYS / VALUES / ITERATOR para transformWithState en PySpark
• SPARK-52040 ResolveLateralColumnAliasReference debe conservar el identificador del plan
• SPARK-51638 Corrección de la captura de bloques RDD almacenados en disco remoto a través del servicio aleatorio externo
• SPARK-51983 Preparación del entorno de prueba para pandas API en Spark con el modo ANSI habilitado
• SPARK-52087 Agregar copia de etiquetas y origen a AliasHelper.trimNonTopLevelAliases
• SPARK-51210 Agregar --enable-native-access=ALL-UNNAMED a las opciones de Java para Java 24+
• SPARK-52052 Agregar .broadcast en el objeto complementario serializableConfiguration
• SPARK-51823 Agregar configuración para no persistir el almacén de estado en los ejecutores
• SPARK-51291 Reclasificar los errores de validación producidos durante la carga del almacén de estado
• SPARK-52006 Excluir el acumulador CollectMetricsExec de la interfaz de usuario de Spark + registros de eventos + pulsos de métricas
• SPARK-52076 Cierra explícitamente ExecutePlanResponseReattachableIterator después del uso
• SPARK-51428 Asignación de alias para árboles de expresión intercalados deterministamente
• SPARK-52079 Normalizar el orden de los atributos en listas de proyectos internos
• SPARK-52033 Se ha corregido el error generar nodo en el que la salida del nodo secundario puede tener varias copias del mismo atributo.
• SPARK-51428 Asignación de alias para árboles de expresión intercalados deterministamente
• SPARK-52055 Suprime la excepción en ExecutePlanResponseReattachableIterator. del
• SPARK-51921 Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
• SPARK-50763 Adición de una regla del analizador para resolver funciones de tabla SQL
• SPARK-51884 Adición de atributos de ámbito externo para SubqueryExpression
• SPARK-50762 Agregar regla del analizador para resolver UDF escalares de SQL
• SPARK-51814 Usa list(self) en lugar de StructType.fields para la compatibilidad con versiones anteriores
• SPARK-51537 Construir el cargador de clases específico de la sesión en función del cargador de clases de sesión predeterminado en executor
• SPARK-50777 Eliminación de métodos redundantes no-op init/destroy de las clases Filter
• SPARK-51691 SerializationDebugger debe tragar la excepción cuando intente encontrar el motivo del problema de serialización.
• SPARK-51386 Asignar nombre a condiciones de error _LEGACY_ERROR_TEMP_3300-3302
• SPARK-50734 Agregar API de catálogo para crear y registrar UDF de SQL
• SPARK-51989 Agregar subclases de filtro que faltan a toda la lista del origen de datos
• SPARK-52037 El orden en las listas de proyectos internos de LCA debe respetar el orden en la lista de proyectos original
• SPARK-52007 Los identificadores de expresión no deben estar presentes en expresiones de agrupación al usar conjuntos de agrupación
• SPARK-51860 Deshabilitar spark.connect.grpc.debug.enabled de forma predeterminada
• SPARK-47952 Compatibilidad con la recuperación de la dirección y el puerto reales de SparkConnectService GRPC mediante programación cuando se ejecuta en Yarn
• SPARK-50906 Agregar verificación de nulabilidad para ver si las entradas de to_avro se alinean con el esquema
• Corrección de SPARK-50581 para UDAF en Dataset.observe()
• SPARK-49946 Requerir una clase de error en SparkOutOfMemoryError
• SPARK-49748 Adición de getCondition y desuso de getErrorClass en SparkThrowable
• SPARK-51959 Hacer que las funciones no importen ParentDataFrame
• SPARK-51964 Resolver correctamente los atributos de la salida oculta en ORDER BY y HAVING sobre un Agregado en un Analizador de un único paso
• SPARK-49942 Cambie el nombre de errorClass a condition en classifyException()
• SPARK-51963 Simplificación de IndexToString.transform
• SPARK-51946 Fallo anticipado al crear una tabla de fuente de datos incompatible con hive teniendo "col" como un nombre de partición
• SPARK-51553 Modificar EXTRACT para admitir el tipo de datos TIME
• SPARK-51891 Exprima el protocolo de ListState GET / PUT/APPENDLIST para transformWithState en PySpark
• SPARK-51931 Añadir maxBytesPerOutputBatch para limitar el número de bytes del lote de salida de Arrow.
• SPARK-51441 Adición de API DSv2 para restricciones
• SPARK-51814 Utilice RecordBatch.schema.names en lugar de column_names para la compatibilidad con versiones anteriores de pyarrow.
• SPARK-51913 JDBCTableCatalog#loadTable no debería producir correctamente este error de tabla
• SPARK-51840 Restaurar columnas de partición en HiveExternalCatalog#alterTable
• SPARK-51414 Adición de la función make_time()
• SPARK-49700 Interfaz unificada de Scala para Connect y Clásico
• SPARK-51914 Agregar com.mysql.cj a spark.sql.hive.metastore.sharedPrefixes
• SPARK-51827 Compatibilidad con Spark Connect en transformWithState en PySpark
• SPARK-51901 No permitir funciones de generador en conjuntos de agrupación
• SPARK-51423 Adición de la función current_time() para el tipo de datos TIME
• SPARK-51680 Establecer el tipo lógico para TIME en el escritor de Parquet
• SPARK-51889 Corrección de un error para MapState clear() en Python TWS
• SPARK-51869 Creación de la clasificación de errores de usuario en UDF para Scala TransformWithState
• SPARK-51878 Mejorar fillDefaultValue ejecutando la expresión predeterminada plegable.
• SPARK-51757 Corrección en la función LEAD/LAG para el desplazamiento que supera el tamaño del grupo de ventana
• SPARK-51805 La función Get con un argumento incorrecto debería lanzar una excepción adecuada en lugar de una interna.
• SPARK-51900 Lanzar correctamente un error de discrepancia de tipos de datos en el analizador de paso único
• SPARK-51421 Obtener segundos del tipo de datos TIME
• SPARK-51661 Detección de particiones de valores de columna TIME
• SPARK-51687 Delegar filtros con valores TIME en Parquet
• SPARK-51419 Obtener horas de tipo de datos TIME
• SPARK-51881 Hacer que AvroOptions sea comparable
• SPARK-51861 Quitar información duplicada o innecesaria del Detalle del plan InMemoryRelation
• SPARK-51814 Introducción de una nueva transformación de APIWithState en PySpark
• SPARK-51779 Utilizar familias de columnas virtuales para la unión de dos secuencias de flujo
• SPARK-51649 Escrituras y lecturas dinámicas de particiones TIME
• SPARK-51634 Compatibilidad con la gestión de tiempo en vectores de columna fuera del heap
• SPARK-51877 Agregar funciones 'chr', 'random' y 'uuid'
• SPARK-51610 Compatibilidad con el tipo de datos TIME en el origen de datos parquet
• SPARK-51420 Obtener minutos del tipo de datos TIME
• SPARK-51822 Generar un error clasificado cuando se llaman funciones no permitidas durante StatefulProcessor.init()
• SPARK-51868 Mover la validación de coerción de tipos a un objeto independiente
• SPARK-49747 Migrar archivos de connect/ al registro estructurado

Compatibilidad con controladores ODBC/JDBC de Azure Databricks

Azure Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Azure Databricks Runtime 17.1.

Entorno del sistema

• sistema operativo: Ubuntu 24.04.2 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2025-03-20.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)