Databricks Runtime 16.4 LTS

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 16.4 LTS, con tecnología de Apache Spark 3.5.2.

Databricks publicó esta versión LTS en mayo de 2025. Hay 2 variantes para esta versión, una compatible con Scala 2.12 y otra compatible con Scala 2.13.

A partir de DBR 17 (Spark 4), solo se admitirá Scala 2.13. Para ayudarle a realizar la transición, hay dos imágenes disponibles en 16.4 LTS: una con Scala 2.12 y otra con Scala 2.13. Use la imagen 2.13 para probar y actualizar la base de código a Scala 2.13 antes de migrar a DBR 17.

Guía de migración de Scala 2.13

• Todas las demás características son las mismas en las versiones de Databricks Runtime 16.4 LTS.
• Las versiones de dependencia pueden diferir entre la imagen de Scala 2.12 de Databricks Runtime 16.4 y la imagen de Scala 2.13 de Databricks Runtime 16.4. Las versiones de las bibliotecas admitidas en cada imagen se enumeran a continuación en esta página.
• Asegúrese de que el código está escrito en Scala 2.13 y el archivo ejecutable se compila con Scala 2.13.
• Compile el proyecto en Spark 3.5.

Si el código usa la sparklyr biblioteca de R, debe usar la imagen que admite Scala 2.12 en su lugar.

Cambios importantes entre Scala 2.12 y 2.13

Cambios disruptivos importantes

Databricks Runtime considera que un cambio es importante cuando requiere que realice cambios significativos en el código para admitirlo.

• Incompatibilidad de recopilación: lea esta página oficial de documentos de Scala para obtener más información sobre la migración de colecciones a Scala 2.13. Si el código usa una versión anterior del código de Scala, las colecciones serán el origen principal de incompatibilidades al usar Databricks, especialmente con parámetros de API y tipos de valor devuelto.

• Algoritmo hash: al revisar el código compilado con Scala 2.12, no se base en el orden implícito de las estructuras de datos que no garantizan la ordenación, como HashMap y Set. Las colecciones que realizan la ordenación implícita pueden ordenar sus elementos de forma diferente cuando se ejecutan en 2.13 (frente a 2.12) cuando se recorren en iteración.

Cambios menores significativos

Databricks Runtime considera un cambio de versión menor cuando no hay mensajes de error específicos debido a las modificaciones de la versión, pero su código generalmente no podría compilarse bajo la versión. En este caso, los mensajes de error pueden proporcionar información suficiente para actualizar el código.

• Inferencia de tipos más estricta: al compilar código desarrollado para Scala 2.12 con 2.13, el compilador puede informar que no puede deducir el tipo o indicar una ambigüedad de tipo. La anotación explícita de las variables con su tipo de datos a menudo resuelve este problema.
• Eliminación de una sintaxis específica: algunas sintaxis han quedado obsoletas en Scala 2.13, como el literal de cadena de comillas simples, el operador + para la concatenación de cadenas cuando se usa con un tipo que no es String en la izquierda y el operador postfijo (use la notación de puntos en su lugar). Para obtener más información, consulte: Scala dropped features in the official Scala docs (Características eliminadas de Scala en los documentos oficiales de Scala).
• Mensajes de salida: los resultados de texto de los mensajes devueltos desde REPL pueden ser diferentes entre Scala 2.12 y 2.13. Cualquier discrepancia no significa que la sintaxis o el cálculo sean incorrectos; en su lugar, el mensaje describe el problema o el contexto de forma diferente o lo presenta en un formato representacional diferente. Por ejemplo, f: Foo = Foo(1) puede convertirse f: Foo = Foo(i = 1) en algunos mensajes.

La lista de versiones de biblioteca admitidas por cada versión de Scala de Databricks Runtime 16.4 LTS:

• Bibliotecas de DBR 16.4 LTS Scala 2.12
• Bibliotecas de DBR 16.4 LTS Scala 2.13

Nuevas características y mejoras

• Los paneles, las alertas y las consultas se admiten como archivos del área de trabajo.
• Mejora de la autocompactación de la agrupación de líquidos
• El cargador automático ahora puede limpiar los archivos procesados en el directorio de origen
• Soporte de ampliación de tipo añadido para streaming desde tablas Delta
• IDENTIFIER Compatibilidad ahora disponible en DBSQL para operaciones de catálogo
• Las expresiones intercaladas ahora proporcionan alias transitorios generados automáticamente
• Añadir soporte de API de pushdown de filtro a fuentes de datos Python
• Mejora de traceback de UDF Python
• UNION/EXCEPT/INTERSECT dentro de una vista y EXECUTE IMMEDIATE ahora devuelven resultados correctos
• Guía de migración y conf de plan en caché de fuente de datos
• Nuevas funciones listagg y string_agg
• La compatibilidad con MERGE INTO tablas con control de acceso específico en el proceso dedicado ahora está disponible con carácter general (GA)

Los paneles, las alertas y las consultas se admiten como archivos del área de trabajo.

Ahora se admiten paneles, alertas y consultas como archivos del área de trabajo. Ahora puede interactuar mediante programación con estos objetos de Databricks desde cualquier lugar en el que esté disponible el sistema de archivos del área de trabajo, incluida la escritura, lectura y eliminación de ellos como cualquier otro archivo. Para más información, consulte ¿Qué son los archivos del área de trabajo? y Interactúe mediante programación con los archivos del área de trabajo.

Mejora de la autocompactación de la agrupación de líquidos

Las tablas de agrupación líquida administradas por Unity Catalog ahora activan la autocompactación para reducir automáticamente los problemas de archivos pequeños entre OPTIMIZE ejecuciones.

Para más información, consulte Compactación automática de Delta Lake en Azure Databricks.

El cargador automático ahora puede limpiar los archivos procesados en el directorio de origen

Los clientes ahora pueden indicar a Auto Loader que mueva o elimine automáticamente los archivos que se han procesado. Active esta funcionalidad mediante la opción cloudFiles.cleanSource Auto Loader.

Para obtener más información, consulte Opciones del cargador automático en cloudFiles.cleanSource.

Soporte de ampliación de tipo añadido para streaming desde tablas Delta

Esta versión añade soporte para streaming desde una tabla Delta que tiene datos de columna de tipo ampliado, y para compartir una tabla Delta con ampliación de tipo habilitada usando Databricks-to-Databricks Delta Sharing. La característica de ampliación de tipos se encuentra actualmente en versión preliminar pública.

Para obtener más información, consulte Ampliación de tipos.

IDENTIFIER Compatibilidad ahora disponible en DBSQL para operaciones de catálogo

Los clientes de Azure Databricks ahora pueden usar la IDENTIFIER cláusula al realizar las siguientes operaciones de catálogo:

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

Esta nueva sintaxis permite a los clientes especificar dinámicamente nombres de catálogo mediante parámetros definidos para estas operaciones, lo que permite flujos de trabajo sql más flexibles y reutilizables. Como ejemplo de la sintaxis, considere dónde CREATE CATALOG IDENTIFIER(:param)param se proporciona un parámetro para especificar un nombre de catálogo.

Para obtener más información, consulte IDENTIFIER la cláusula .

Las expresiones intercaladas ahora proporcionan alias transitorios generados automáticamente

Los alias generados automáticamente para las expresiones intercaladas ahora siempre incorporarán la información COLLATE de manera determinista. Los alias generados automáticamente son transitorios (inestables) y no deben basarse en . En su lugar, como procedimiento recomendado, use expression AS alias de forma coherente y explícita.

Añadir soporte de API de pushdown de filtro a fuentes de datos Python

En Databricks Runtime 16.4 LTS, Azure Databricks añadió compatibilidad con el filtrado descendente en la lectura por lotes del origen de datos de Python, como una API similar a la interfaz SupportsPushDownFilters. Ahora puede implementar DataSourceReader.pushFilters para recibir filtros que pueden ser empujados hacia abajo. También puede implementar esta API para proporcionar lógica para seleccionar filtros para empujar hacia abajo, para realizar un seguimiento de ellos, y para devolver los filtros restantes para su aplicación por Apache Spark.

Filter pushdown permite a la fuente de datos manejar un subconjunto de filtros. Esto puede mejorar el rendimiento reduciendo la cantidad de datos que Spark debe procesar.

El empuje de filtros solo es compatible con lecturas por lotes, no con lecturas de streaming. La nueva API debe agregarse a DataSourceReader y no a DataSource o DataSourceStreamReader. La lista de filtros debe interpretarse como la lógica AND de los elementos de la implementación. Este método se llama una vez durante la planificación de la consulta. En la implementación por defecto, devuelve todos los filtros, lo que indica que ningún filtro puede ser empujado hacia abajo. Utilice subclases para anular este método e implementar su propia lógica para la inserción de filtros.

Inicialmente y para simplificar la API, Azure Databricks solo admite filtros V1 que tienen una columna, un operador booleano y un valor literal. La serialización de filtros es un marcador de posición y se implementará en un futuro PR. Por ejemplo:

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks recomienda implementar este método solo para orígenes de datos que admitan de forma nativa el filtrado, como las bases de datos y las API de GraphQL.

Mejora del rastreo de UDF de Python

El traceback de UDF de Python ahora incluye marcos tanto del controlador como del ejecutor junto con los del cliente, resultando en mejores mensajes de error que muestran detalles más relevantes (como el contenido de línea de los marcos dentro de una UDF).

UNION/EXCEPT/INTERSECT dentro de una vista y EXECUTE IMMEDIATE ahora devuelven resultados correctos

Las consultas de definiciones de vistas temporales y persistentes con columnas de nivel UNION/EXCEPT/INTERSECT superior y sin alias devolvieron previamente resultados incorrectos porque UNION/EXCEPT/INTERSECT las palabras clave se consideraron alias. Ahora esas consultas realizarán correctamente toda la operación de configuración.

EXECUTE IMMEDIATE ... INTO con un nivel superior UNION/EXCEPT/INTERSECT y columnas sin alias también escribía un resultado incorrecto de una operación de conjunto en la variable especificada debido a que el analizador sintáctico interpretaba estas palabras clave como alias. Del mismo modo, también se permitieron consultas SQL con texto final no válido. Las operaciones establecidas en estos casos ahora escriben un resultado correcto en la variable especificada o producen un error en caso de texto SQL no válido.

Guía de migración y conf de plan en caché de fuente de datos

Desde la versión DBR 16.4.0, la lectura de una tabla de origen de archivos respetará correctamente las opciones de consulta, como los delimitadores. Anteriormente, el primer plan de consulta se almacenaba en caché y se omiteban los cambios de opción posteriores. Para restaurar el comportamiento anterior, establezca spark.sql.legacy.readFileSourceTableCacheIgnoreOptions en true.

Nuevas listagg funciones y string_agg

A partir de esta versión, puede usar las funciones listagg o string_agg para agregar los valores STRING y BINARY dentro de un grupo. Consulte string_agg para obtener más detalles.

La compatibilidad con MERGE INTO tablas con control de acceso específico en el proceso dedicado ahora está disponible con carácter general (GA)

En Databricks Runtime 16.3 y versiones posteriores, el cómputo dedicado admite MERGE INTO a las tablas del Catálogo de Unity que utilizan un control de acceso granular. Esta característica ya está disponible con carácter general.

Consulte Control de acceso detallado en la computación dedicada.

Cambios de comportamiento de DBR 16.4 LTS

• Tablas delta: "DESCRIBE DETAIL table" ahora mostrará el estado clusterByAuto de la tabla
• Corrección para respetar las opciones de los planes almacenados en caché del origen de datos
• Se ha movido la regla de redacción del analizador al optimizador.
• variant_get y get_json_object ahora consideran los espacios iniciales en las rutas en Apache Spark
• Activar el marcador para impedir la desactivación de la materialización de la fuente en las operaciones MERGE
• Mover el anclaje de habilitación del registro de metadatos de partición a la tabla
• Degradar Json4s de 4.0.7 a 3.7.0-M11 en DBR 16.2 y 16.3

Tablas delta: "DESCRIBE DETAIL table" ahora mostrará el estado clusterByAuto de la tabla

DESCRIBE DETAIL {table} ahora mostrará el clusterByAuto estado de la tabla (true o false) junto a las columnas de agrupación actuales. Para obtener más información sobre clusterByAuto, consulte:Agrupación automática de líquidos.

Corrección para respetar las opciones de los planes almacenados en caché del origen de datos

Esta actualización garantiza que las lecturas de tablas respeten las opciones establecidas para todos los planes de origen de datos cuando se almacenan en caché, no solo durante la primera lectura de tabla almacenada en caché.

Anteriormente, la tabla de orígenes de datos lee en caché el primer plan, pero no pudo tener en cuenta las distintas opciones de las consultas posteriores.

Por ejemplo, la siguiente consulta:

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

generaría esta salida:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

Con esta corrección, ahora devuelve la salida esperada:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

Si las cargas de trabajo tienen dependencias en el comportamiento incorrecto anterior, es posible que vea resultados diferentes después de este cambio.

Se ha movido la regla de redacción del analizador al optimizador.

Anteriormente, DataFrames podía crear tablas que contenían valores censurados cuando se usaron funciones VÁLIDAs de SQL SECRET. Este cambio quita la reacción al guardar DataFrames con acceso secreto válido a una tabla y la regla de reacción se ha movido del analizador al optimizador.

variant_get y get_json_object ahora consideran los espacios iniciales en las rutas de acceso en Apache Spark

Antes de este cambio, los espacios en blanco iniciales y las pestañas en las rutas de acceso de las expresiones variant_get y get_json_object se omitían con Photon deshabilitado. Por ejemplo, select get_json_object('{" key": "value"}', '$[' key']') no sería eficaz al extraer el valor de " key". Sin embargo, los usuarios podrán extraer estas claves.

Activar el marcador para impedir la desactivación de la materialización de la fuente en las operaciones MERGE

Anteriormente, los usuarios podían deshabilitar la materialización de origen en MERGE estableciendo merge.materializeSource en none. Con la nueva marca habilitada, esto estará prohibido y provocará un error. Databricks planea habilitar la marca solo para los clientes que no han usado esta marca de configuración antes, por lo que ningún cliente debe observar ningún cambio en el comportamiento.

Mover el anclaje de habilitación del registro de metadatos de partición a la tabla

Se ha cambiado la característica de registro de metadatos de partición para que una vez creada una tabla con spark.databricks.nonDelta.partitionLog.enabled = true, puede delimitarla a una tabla para que un clúster no establezca spark.databricks.nonDelta.partitionLog.enabled = true para todas las tablas procesadas por el clúster.

Degradar Json4s de 4.0.7 a 3.7.0-M11 en DBR 16.2 y 16.3

Los clientes no pueden usar databricks-connect 16.1+ y Apache Spark™ 3.5.x juntos en la misma aplicación debido a discrepancias significativas en el comportamiento de la API entre json4s versión 3.7.0-M11 y la versión 4.0.7. Para solucionar esto, Azure Databricks ha degradado Json4s a 3.7.0-M11.

Actualizaciones de biblioteca (solo se aplica a la imagen de Scala 2.12)

• Bibliotecas de R actualizadas:
  • sparklyr de 1.8.4 a 1.8.6 (solo se aplica a la imagen de Scala 2.12 para la versión de Databricks Runtime 16.4 LTS)
• Bibliotecas de Java actualizadas:
  • io.delta.delta-sharing-client_2.12 de 1.2.3 a 1.2.4
  • org.json4s.json4s-ast_2.12 de 4.0.7 a 3.7.0-M11
  • org.json4s.json4s-core_2.12 de 4.0.7 a 3.7.0-M11
  • org.json4s.json4s-jackson_2.12 de 4.0.7 a 3.7.0-M11
  • org.json4s.json4s-scalap_2.12 de 4.0.7 a 3.7.0-M11

La versión de Scala 2.13 Databricks Runtime se considera una versión "nueva" y puede tener versiones de biblioteca diferentes de la versión 2.12. Consulte la tabla siguiente para ver versiones de biblioteca específicas en esa imagen de versión. No se incluye sparklyr en esta versión.

Spark de Apache

Databricks Runtime 16.4 LTS incluye Apache Spark 3.5.2. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 16.3 (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• [SPARK-51206] [PYTHON][connect] Mover funciones auxiliares de conversión de Arrow fuera de Spark Connect
• [SPARK-51566] [PYTHON] Mejora del rastreo de UDF de Python
• [SPARK-51675] [SS] Corregir la creación de la familia de columnas tras abrir la base de datos local para evitar la creación de instantáneas cuando no es necesario.
• [SPARK-50892] [ SQL]Agregar UnionLoopExec, operador físico para recursión, para realizar la ejecución de consultas recursivas
• [SPARK-51670] [SQL] Refactorización de Intersección y excepción para seguir el ejemplo de Union y reutilizarlos en el analizador de paso único
• [SPARK-47895] [ BEHAVE-266][sql] group by alias debe ser idempotente
• [SPARK-51614] [SQL] Introducir la regla ResolveUnresolvedHaving en el analizador
• [SPARK-51662] [SQL] Hacer que OrcFileFormat sea comparable
• [SPARK-51374] Revertir "[CORE] Cambiar al uso de java.util.Map en las API de registro"
• [SPARK-51652] [SQL] Refactorizar el cálculo setOperation para reutilizarlo en el analizador de paso único
• [SPARK-51622] [UI] Titulación de secciones en ExecutionPage
• [SPARK-51586] [SS] inicializar particiones de entrada independientemente del soporte columnar en modo continuo
• [SPARK-51070] [SQL] Usar scala.collection.Set en lugar de Set en ValidateExternalType
• [SPARK-51559] [SQL] Hacer configurable el tamaño máximo de la tabla de difusión
• [SPARK-51496] [SQL] La comparación CaseInsensitiveStringMap debe ignorar la distinción entre mayúsculas y minúsculas
• [SPARK-50416] [CORE] Se necesita una prueba de terminal o canalización más portátil para bin/load-spark-env.sh
• [SPARK-51509] [CORE][ui] Hacer que la página de Entorno Spark Master admita filtros
• [SPARK-51374] [CORE] Cambio a usar java.util.Map en las API de registro
• [SPARK-50820] [SQL] DSv2: nullificación condicional de columnas de metadatos en DML
• [SPARK-48922] [SQL] Evitar la transformación innecesaria de array de una expresión idéntica para el tipo de mapa
• [SPARK-51446] [SQL] Mejorar el codecNameMap para el códec de compresión
• [SPARK-51341] [CORE] Cancelación de tarea de tiempo de manera adecuada.
• [SPARK-51452] [UI] Mejorar la búsqueda de la tabla de volcado de hilos
• [SPARK-51444] [CORE] Quitar la rama inaccesible if de TaskSchedulerImpl#statusUpdate
• [SPARK-51401] [SQL] Cambiar ExplainUtils.generateFieldString para llamar directamente a QueryPlan.generateFieldString
• [SPARK-49507] [SQL] Corrección del problema de caso después de habilitar metastorePartitionPruningFastFallback
• [SPARK-51506] [PYTHON][ss] No exigir a los usuarios que implementen close() en TransformWithStateInPandas
• [SPARK-51624] [SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
• [SPARK-51201] [SQL] Hacer que las sugerencias de creación de particiones admitan valores byte y short
• [SPARK-51186] [PYTHON] Agregar StreamingPythonRunnerInitializationException a la excepción base de PySpark
• [SPARK-50286] [SQL] Propaga correctamente las opciones de SQL a WriteBuilder
• [SPARK-51616] [SQL] Ejecute CollationTypeCasts antes de ResolveAliases y ResolveAggregateFunctions
• [SPARK-51023] [CORE] Registro de la dirección remota en la excepción RPC
• [SPARK-51087] [PYTHON][connect] Genera una advertencia cuando el generador de perfiles de memoria no está instalado para la generación de perfiles de memoria
• [SPARK-51073] [SQL] Eliminar Unstable de la SparkSessionExtensionsProvider característica
• [SPARK-51471] [SS] RatePerMicroBatchStream: clasifique el error ASSERT cuando offset/timestamp en startOffset sea mayor que endOffset.
• [SPARK-51062] [PYTHON] Corrección de assertSchemaEqual para comparar la precisión y la escala decimales
• [SPARK-51612] [SQL] Se muestran las configuraciones de Spark establecidas al crear la vista como Desc As Json
• [SPARK-51573] [SS] Solucionar la condición de carrera en el punto de comprobación de estado de streaming v2 de CheckpointInfo
• [SPARK-51252] [SS] Agregar métricas de instancia para la última versión de instantánea cargada en almacenes de estado de HDFS
• [SPARK-51552] [ SQL] No permitir variables temporales en vistas persistentes con un identificador
• [SPARK-51625] [SQL] El comando en las relaciones de CTE debe desencadenarse en línea
• [SPARK-51584] [SQL] Agregar regla que empuje Project a través de Offset y conjunto de pruebas que lo verifique.
• [SPARK-51593] [ SQL] Refactorizar la instanciaciónQueryExecutionMetering
• [SPARK-49082] [SQL] Compatibilidad con la ampliación de Date a TimestampNTZ en el lector Avro
• [SPARK-50220] [PYTHON] Compatibilidad con listagg en PySpark
• [SPARK-51581] [CORE][sql] Usar nonEmpty/isEmpty para la comprobación de vacío explícita Iterable
• [SPARK-42746] [SQL] Corrección en la clasificación de clases de error para nuevas excepciones con listagg
• [SPARK-51580] [SQL] Mostrar el mensaje de error adecuado dirigido al usuario cuando la función lambda esté fuera de lugar. HigherOrderFunction
• [SPARK-51589] [SQL] Corrección de errores pequeños que no comprueban las funciones agregadas en |>SELECT
• [SPARK-50821] [PYTHON] Actualización de Py4J de 0.10.9.8 a 0.10.9.9
• [SPARK-42746] [ SQL] Implementación de la función LISTAGG
• [SPARK-48399] [SQL] Teradata: ByteType debe asignarse a BYTEINT en lugar de BYTE(binary)
• [SPARK-43221] [CORE] La obtención de bloques locales del host debe usar un estado de bloque de un bloque almacenado en disco
• [SPARK-51467] [UI] Hacer que las tablas de la página del entorno sean filtrables
• [SPARK-51569] [SQL] No reinstantiate InSubquery en InTypeCoercion si no hay cambios de tipo
• [SPARK-51280] [CONNECT] Mejorar la clase de error RESPONSE_ALREADY_RECEIVED
• [SPARK-51525] [SQL] Campo de intercalación para StringType de Desc As JSON
• [SPARK-51565] [SQL] Compatibilidad con parámetros SQL en la cláusula de marco de ventana
• [SPARK-51544] [SQL] Agregar solo columnas de metadatos únicas y necesarias
• [SPARK-49349] [SQL] Mejorar el mensaje de error de LCA con Generate
• [SPARK-51418] [SQL] Corrección de la PARTITON TABLE de DataSource con las columnas de partición incompatible del tipo de Hive
• [SPARK-51269] [SQL] Simplificar AvroCompressionCodec quitando defaultCompressionLevel
• [SPARK-50618] [SS][sql] Hacer que DataFrameReader y DataStreamReader aprovechen el analizador más
• [SPARK-51097] [SS] Reintroducción de las métricas de instancia de la versión de la última instantánea cargada del almacén de estado de RocksDB
• [SPARK-51321] [SQL] Se agregó soporte para rpad y lpad en la delegación de expresiones para PostgresDialect y MsSQLServerDialect
• [SPARK-51428] [BEHAVE-264][sql] Reasignar alias para árboles de expresión ordenados de manera determinista
• [SPARK-51528] [SQL] No compare códigos hash directamente en ProtobufCatalystDataConversionSuite
• [SPARK-51443] [SS] Corregir singleVariantColumn en DSv2 y readStream.
• [SPARK-51397] [SS] Resolver el problema de gestión del apagado del grupo de mantenimiento que causa tiempos prolongados de prueba.
• [SPARK-51522] [SQL] Deshabilitación de la prueba de elementos secundarios de unión diferida para el analizador de paso único
• [SPARK-51079] [Fix-forward] Compatibilidad con tipos de variables grandes en UDF de Pandas, createDataFrame y toPandas con Arrow
• [SPARK-51112] [ES-1348599][connect] Evite usar pyarrow en to_pandas una tabla vacía.
• [SPARK-51438] [SQL] Make CatalystDataToProtobuf and ProtobufDataToCatalyst adecuadamente comparable y hashable
• [SPARK-50855] [DBR16.x][ss][CONNECT] Compatibilidad de Spark Connect con TransformWithState en Scala
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column debe conservar la EXISTS_DEFAULT resolución.
• [SPARK-51468] [SQL] Revertir "Desde json/xml no deben cambiar las intercalaciones en el esquema especificado"
• [SPARK-51453] [ SQL] AssertTrue usa toPrettySQL en lugar de simpleString
• [SPARK-51409] [SS] Adición de la clasificación de errores en la ruta de creación del escritor de registro de cambios
• [SPARK-51440] [SS] clasifique el NPE cuando el valor del campo de tópico es null en los datos del mensaje de Kafka y no existe una opción de tópico.
• [SPARK-51425] [Connect] Adición de la API de cliente para establecer la personalizada operation_id
• [SPARK-50652] [SS] Agregar comprobaciones a la compatibilidad con versiones anteriores de RocksDB V2
• [SPARK-49164] [SQL] Corrección de no NullSafeEqual en el predicado de consulta SQL en la Relación JDBC
• [SPARK-50880] [SQL] Agregar un nuevo método visitBinaryComparison a V2ExpressionSQLBuilder
• [SPARK-50838] [ SQL]Realiza comprobaciones adicionales dentro de los CTE recursivos para producir un error si se encuentra un caso prohibido.
• [SPARK-51307] [SQL] locationUri en CatalogStorageFormat se descodificará para mostrarlo.
• [SPARK-51079] [PYTHON] Compatibilidad con tipos de variables grandes en UDF de Pandas, createDataFrame y toPandas con Arrow
• [SPARK-50792] [SQL] Dar formato a los datos binarios como un literal binario en JDBC.

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente aquí:

• Descarga de controladores ODBC de Databricks
• Descarga de controladores JDBC de Databricks

Entorno del sistema

• Sistema operativo: Ubuntu 24.04.2 LTS.
  • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de Databricks Runtime se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar una versión de Ubuntu o una distribución de Linux diferente.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15 o 2.13.10
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2024-08-04.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)