Databricks Runtime 18.2 (beta)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 18.2 (Beta).

Esta versión incorpora todas las características, mejoras y correcciones de errores de todas las versiones anteriores de Databricks Runtime. Databricks publicó esta versión en abril de 2026.

Cambios de comportamiento

• XPath ya no captura DTD externos
• Conservación de estructuras NULL en INSERT, MERGE y escrituras en flujo con evolución del esquema
• Compatibilidad con NullType (VOID) en tablas delta
• SHOW CREATE TABLE admite vistas de métricas
• Corrección para el problema de eliminación de filas en la unión LATERAL IZQUIERDA EXTERNA JOIN
• NATURAL JOIN respeta la coincidencia de columnas que no distinguen mayúsculas de minúsculas
• Validación de dependencias de UDF de SQL en el catálogo de Unity
• Escrituras optimizadas para tablas de catálogo de Unity con particiones creadas con CRTAS
• Las dependencias de AWS SDK v1 están sombreadas
• Corrección de una autoridad EPSG incorrecta para SRID 102100 definida por ESRI

XPath ya no captura DTD externos

Al evaluar XPath a través de XML, Azure Databricks ya no carga definiciones de tipo de documento (DTD) externas declaradas en el documento. Anteriormente, XPath podía producir un error cuando el XML contenía una referencia de DTD externa que apuntaba a una dirección URL con formato incorrecto o a un punto de conexión inaccesible. Dado que la validación de DTD es independiente de la evaluación de XPath, las consultas que ya se han realizado correctamente devuelven los mismos resultados que antes. Las consultas que anteriormente fallaban solo durante la recuperación de DTD externa ahora pueden tener éxito.

Conservación de estructuras NULL en INSERT, MERGE y escrituras de streaming con evolución del esquema

Para INSERT, MERGE, y las escrituras de streaming que usan la evolución del esquema, una estructura NULL en el origen ahora se almacena como NULL en el destino. Anteriormente, ese valor se materializó incorrectamente como una estructura que no es NULL con cada campo establecido en NULL, mientras que las mismas operaciones sin evolución del esquema conservaron correctamente estructuras NULL. Si el código dependía de recibir una estructura que no sea NULL cuyos campos fueran NULL, actualice el código para controlar una estructura NULL en su lugar.

Compatibilidad con NullType (VOID) en tablas delta

Las tablas Delta ahora admiten columnas de Spark VOID (NullType). VOID las columnas ya no se quitan del esquema de tabla tras las lecturas. Las operaciones de escritura no se ven afectadas. Consulte VOID el tipo de restricciones sobre dónde VOID pueden aparecer las columnas en el esquema.

SHOW CREATE TABLE admite vistas de métricas

SHOW CREATE TABLE ahora admite vistas de métricas. Anteriormente, al ejecutar este comando en una vista de métrica se produjo un error. La salida de las vistas de métricas incluye el nombre completo compuesto por tres partes, incluyendo el catálogo (por ejemplo, CREATE VIEW catalog.db.my_metric_view ...), lo que facilita recrear la vista de métricas en la ubicación correcta.

Corrección para las filas de colocación LATERAL IZQUIERDA EXTERNA JOIN

Ahora se ha corregido un error que eliminaba filas de las consultas LEFT OUTER JOIN LATERAL de forma incorrecta. Las consultas que usan esta construcción ahora devuelven los resultados correctos. Para revertir temporalmente al comportamiento anterior, establezca spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic en true.

NATURAL JOIN respeta la coincidencia de columnas sin distinguir entre mayúsculas y minúsculas

NATURAL JOIN ahora usa correctamente la coincidencia de columnas sin distinguir mayúsculas de minúsculas cuando spark.sql.caseSensitive se establece en false (valor predeterminado). Anteriormente, NATURAL JOIN utilizaba una comparación que diferenciaba entre mayúsculas y minúsculas para identificar columnas comunes, lo que hacía que las columnas que solo se diferenciaban en mayúsculas y minúsculas (por ejemplo, ID frente a id) no se reconocieran como coincidentes. Esto provocaba que NATURAL JOIN produjera de forma silenciosa resultados de combinación cruzada. Esta corrección alinea el NATURAL JOIN comportamiento con USING uniones, que ya manejaba correctamente la insensibilidad a mayúsculas. Las consultas afectadas por este error ahora devuelven resultados correctos con columnas unidas correctamente.

Validación de la dependencia de UDF de SQL en Unity Catalog

El Catálogo de Unity ahora aplica validación de dependencias para funciones de SQL definidas por el usuario (UDF) a fin de prevenir la omisión del control de acceso. Anteriormente, las funciones SQL creadas a través de la API REST podían hacer referencia a las dependencias a las que el usuario no tenía acceso. Las UDF de SQL con configuraciones de dependencia no válidas ahora se bloquean de la ejecución.

Escrituras optimizadas para tablas particionadas de Unity Catalog creadas con CRTAS

Las escrituras optimizadas ahora se aplican correctamente a las tablas de Unity Catalog con particiones creadas con CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Anteriormente, CRTAS en nuevas tablas de catálogos de Unity con particiones no aplicaba escrituras optimizadas, lo que provocaba un mayor número de archivos pequeños por partición. Esta corrección puede aumentar la latencia de escritura. Para revertir al comportamiento anterior, establezca spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled a false.

Las dependencias de AWS SDK v1 están sombreadas

Las dependencias de AWS SDK v1 agrupadas con Databricks Runtime ahora están sombreadas y ya no están disponibles directamente en la ruta de clase. Si el código depende de las bibliotecas de AWS SDK v1 proporcionadas anteriormente por Databricks Runtime, agréguelas como dependencias explícitas en el proyecto. Este cambio se prepara para la migración a AWS SDK v2, después del final de la compatibilidad de AWS con SDK v1.

Corrección de una autoridad EPSG incorrecta para SRID 102100 definida por ESRI

La asignación del Sistema de referencia de coordenadas (CRS) para SRID 102100 ahora usa ESRI:102100 correctamente en lugar de la incorrecta EPSG:102100. Esta corrección garantiza que los datos geoespaciales se almacenen con la autoridad correcta para mejorar la interoperabilidad con otros sistemas.

Nuevas características y mejoras

• Compatibilidad con CREATE OR REPLACE para tablas temporales
• agg() alias para la measure() función
• Actualización del controlador JDBC de Snowflake
• pyspark.pipelines.testing alias de espacio de nombres
• Mejora del rendimiento de la lista de Auto Loader
• El historial de tablas delta incluye marcas de opción de escritura
• Compatibilidad con rebobinado y reproducción de Structured Streaming

Compatibilidad con CREATE OR REPLACE para tablas temporales

CREATE OR REPLACE TEMP TABLE Ahora se admite la sintaxis, lo que permite crear o reemplazar tablas temporales en una sola instrucción. Esto elimina la necesidad de quitar y volver a crear tablas temporales explícitamente.

agg() alias para la measure() función

agg() ahora está disponible como alias para la measure() función. Este cambio es totalmente compatible con versiones anteriores. Las consultas existentes que usan measure() siguen funcionando sin modificaciones y agg() generan resultados idénticos cuando se usan con los mismos argumentos.

Actualización del controlador JDBC de Snowflake

El controlador JDBC de Snowflake se actualiza de 3.22.0 a 3.28.0.

pyspark.pipelines.testing alias de espacio de nombres

pyspark.pipelines.testing ahora está disponible como alias de conveniencia para dlt.testing las API. Importe las utilidades de prueba de canalizaciones declarativas de Spark de Lakeflow mediante cualquiera de los espacios de nombres.

Rendimiento mejorado del listado del cargador automático

Auto Loader ahora usa un método de lista más eficaz que mejora la velocidad de enumeración para los orígenes de almacenamiento en la nube. Si los disparadores de flujo se superponen debido a las operaciones de listado de larga duración, esta optimización puede dar lugar a un aumento de los costos de la API de listado en la nube. Monitorea los intervalos de activación y ajusta la programación para evitar operaciones superpuestas si se observan aumentos de costos.

El historial de la tabla Delta incluye marcas de opción de escritura

El historial de la tabla Delta (DESCRIBE HISTORY) ahora incluye marcas de opción de escritura en la columna operationParameters para las operaciones WRITE y REPLACE TABLE. Cuando se habilitan explícitamente las siguientes opciones, aparecen como marcas booleanas en el historial (solo se incluyen cuando true):

Para las operaciones WRITE y REPLACE TABLE :

• isDynamicPartitionOverwrite: está presente cuando se usó el modo de sobrescritura de particiones dinámicas.
• canOverwriteSchema: está presente cuando se ha habilitado la sobrescritura de esquema (overwriteSchema)
• canMergeSchema: presente cuando se ha habilitado la combinación de esquemas (mergeSchema)

Para operaciones de REPLACE TABLE:

• predicate: presente cuando replaceWhere se usó
• isV1WriterSaveAsTableOverwrite: presente cuando se desencadenó el reemplazo mediante una .saveAsTable sobrescritura.

Compatibilidad con rebobinado y reproducción de Structured Streaming

Structured Streaming ahora admite rebobinado y reproducción para canalizaciones de streaming. Esta característica permite volver a procesar desde un punto anterior de la secuencia para recuperarse de errores, como cambios de esquema, datos de entrada con formato incorrecto o errores lógicos, sin necesidad de un restablecimiento de estado completo. Esto no modifica el comportamiento predeterminado de las cargas de trabajo de streaming existentes.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:

  No se actualizaron bibliotecas en esta versión.

• Bibliotecas de R actualizadas:

  No se actualizaron bibliotecas en esta versión.

• Bibliotecas de Java actualizadas:

  • io.delta.delta-sharing-client_2.13 de 1.3.9 a 1.3.10

Apache Spark

Databricks Runtime 18.2 incluye Apache Spark 4.1.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 18.1, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• SPARK-56219 Revertir "[SC-225028][PS] Alinear groupby idxmax e idxmin skipna=False behavior with pandas 2/3"
• SPARK-56204 Quitar Alias contenedores de expresiones de fila de tabla insertadas en el analizador
• SPARK-56186 Retirar pypy
• SPARK-56202 Refactorización de pruebas de combinación de streaming: división de la jerarquía de Base/Suite y simplificación del envío del modo
• SPARK-56221 Paridad de características entre los comandos spark.catalog.* frente a DDL
• SPARK-56301 Corrección de errores tipográficos en error-conditions.json
• SPARK-55729 Compatibilidad con el lector de orígenes de datos de estado para el nuevo formato de estado v4 en la combinación de secuencias de transmisión
• SPARK-56256 Adición de emptyDataFrame API a SparkSession
• SPARK-56205 Validación del identificador de punto de control del almacén de estado base antes de confirmar microbatch
• SPARK-55827 Sugerencia de tipo de corrección para los trabajadores de orígenes de datos
• SPARK-55579 Cambiar el nombre de las clases de error de PySpark para que sean independientes del tipo eval
• SPARK-56247 Corregir el comportamiento de reserva y la sugerencia de tipo de inheritable_thread_target
• SPARK-56244 Refinar el diseño de la clase de pruebas comparativas en bench_eval_type.py
• SPARK-56262 Eliminar la desactivación innecesaria de la comprobación de tipos de mypy
• SPARK-55969 regr_r2 debe tratar el primer parámetro como variable dependiente
• SPARK-56179 Consolidación de clases de error para errores de coincidencia de tipos: parte 3
• SPARK-55630 Omitir la actualización de la marca coincidente para el lado no externo en stream-stream join v4
• SPARK-56217 Corrección de excepciones bucketBy en la conexión
• SPARK-56225 Mensaje de error Mejorar vista WITH SCHEMA EVOLUTION
• SPARK-55865 Cambie el nombre de _LEGACY_ERROR_TEMP_1266 a CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Cambie el nombre de _LEGACY_ERROR_TEMP_2045 a UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Uso de ArrowBatchTransformer.enforce_schema para reemplazar la lógica de coerción de tipos de columna
• SPARK-56245 Corrección de la asignación de dataFrame.eval en el lugar en pandas 3
• SPARK-56062 Aislar memory_profiler para mejorar el tiempo de importación
• El catálogo de sistema SPARK-55964 predomina sobre el catálogo de usuario para los esquemas BUILTIN y SESSION.
• SPARK-56226 Captura de errores de análisis antes InternalFrame.__init__ de en .loc
• SPARK-55723 Generalización del error de enforce_schema a PySparkTypeError
• SPARK-54878 Adición de la opción sortKeys a to_json función
• SPARK-56219 Alinear el comportamiento de groupby idxmax e idxmin con skipna=False con pandas 2/3.
• SPARK-44065 Optimización de la asimetría de BroadcastHashJoin en OptimizeSkewedJoin
• SPARK-56179 Revert "[SC-225014][PYTHON] Consolidar clases de error para incompatibilidad de tipos - parte 3"
• SPARK-53399 Combinar Python UDFs
• SPARK-56224 Anotaciones de tipo polaco para accumulators.py
• SPARK-55448 Corrección de la pérdida de eventos de consulta cuando se cierra la sesión durante la ejecución de la consulta
• SPARK-55862 Cambie el nombre de _LEGACY_ERROR_TEMP_2027 a UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Ejecute pruebas spark-49829 con combinaciones de VCF ahora que StateDataSource lo admite.
• SPARK-56179 Consolidación de clases de error para errores de coincidencia de tipos: parte 3
• SPARK-56184 Reemplazar assert por el SparkRuntimeException adecuado en el análisis de columnas particionadas
• SPARK-56206 Corrección de la detección de nombres CTE duplicados que no distinguen mayúsculas de minúsculas
• SPARK-55866 Cambie el nombre de _LEGACY_ERROR_TEMP_2145 a OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Importar psutil de forma perezosa para mejorar la velocidad de importación
• SPARK-56066 Importación diferida de Numpy para mejorar la velocidad de importación
• SPARK-55719 Quitar la advertencia de desuso de spark.sql.hive.convertCTAS
• SPARK-56179 Consolidación de clases de error para desajuste de tipo: parte 2
• SPARK-55510 Actualizar el documento structured-streaming-state-data-source.md para reflejar el uso de deleteRange
• SPARK-56050 Resolver proactivamente IDENTIFIER() con literales de cadena durante el análisis
• SPARK-56151 Mejora de la cadena de presentación CreateVariable
• SPARK-55751 Añadir métricas sobre la carga del almacenamiento de estados desde DFS
• SPARK-56188 Alinear Series.map({}) con el comportamiento de pandas 3 para diccionarios vacíos
• SPARK-55964 Revertir "[SC-223957] el catálogo del sistema precede al catálogo de usuario para BUILTIN y los esquemas de SESIÓN".
• SPARK-55577 Refactorizar SQL_SCALAR_ARROW_ITER_UDF contenedor, asignador y lógica del serializador
• SPARK-55596 Filtrado de estadísticas de partición mejoradas de DSV2
• SPARK-56179 Revertir "[SC-224777][PYTHON] Consolidar las clases de errores para desajuste de tipos: parte 2"
• El catálogo de sistema SPARK-55964 predomina sobre el catálogo de usuario para los esquemas BUILTIN y SESSION.
• SPARK-56050 Revertir "[SC-224153][SQL] Resolver anticipadamente IDENTIFIER() con literales de cadena en tiempo de análisis"
• SPARK-56179 Consolidación de clases de error para desajuste de tipo: parte 2
• SPARK-56102UnionEstimation limpieza de código
• SPARK-51712 Tragar throwables no irrecuperables al resolver tablas o vistas en spark.catalog.listTables()
• SPARK-55881 Adición de queryId, errorMessage y rootExecutionId a la API REST de ejecución de SQL
• SPARK-56050 Resolver proactivamente IDENTIFIER() con literales de cadena durante el análisis
• SPARK-55628 Integración del formato de estado de combinación de stream-stream V4
• SPARK-56187 Corrección del manejo de valores nulos en Series.argsort para pandas 3
• SPARK-56167 Alinear astype con el comportamiento de cadena predeterminado de Pandas 3
• SPARK-56018 Usar ruff como formateador
• SPARK-56042 Corrección de métricas de recuento de familias col internas o externas intercambiadas en RocksDBStateStoreProvider
• SPARK-56179 Consolidación de clases de error para errores de coincidencia de tipos: parte 1
• SPARK-56089 Alinear asinh/acosh con el algoritmo fdlibm para la compatibilidad entre motores
• SPARK-55453 Corrección de la coincidencia de patrones LIKE para caracteres Unicode complementarios
• SPARK-52785 Simplificación de la sintaxis super() en PySpark
• SPARK-56169 Corrección ClassCastException en los informes de errores cuando GetStructField se cambia el tipo secundario mediante la transformación del plan
• SPARK-55557 Las funciones hiperbólicas no deben desbordarse con entradas grandes
• SPARK-47997 Adición del parámetro errors a DataFrame.drop y Series.drop
• SPARK-55008 Mostrar el identificador de consulta en SparkUI
• SPARK-54660 Incorporación del desencadenador RTM a Python
• SPARK-56047 Propagación distinctCount a través de Union en la estimación de estadísticas de CBO
• SPARK-56111 Agregue SparkContext.isDriver() y úselo en el código base.
• SPARK-55999 Habilitar forceSnapshotUploadOnLag de forma predeterminada
• SPARK-55610 Agregar getExecutorInfos a StatusTracker en Python
• SPARK-55728 Introducir conf para el tamaño del grupo de subprocesos de suma de comprobación de archivos y admitir la deshabilitación del grupo de subprocesos
• SPARK-55686 SizeEstimator se encarga de los encabezados de objeto compactos
• SPARK-56044 HistoryServerDiskManager no elimina la tienda de aplicaciones en versión cuando la aplicación no está en mapa activo
• SPARK-55809 HeapHistogram usa DiagnosticCommandMBean en lugar del subproceso jmap
• SPARK-56122 Uso de la comprobación de tipos numéricos compatibles con pandas en Series.cov
• SPARK-56113 Mejora de la restauración de cadenas de Pandas 3 en pandas-on-Spark
• SPARK-56118 Igualar el manejo de booleanos de Pandas 3.0 en GroupBy.quantile
• SPARK-53823 Implementación de la lista de autorizaciones para el modo en tiempo real
• SPARK-55977 Corrección de isin() para usar coincidencias de tipos estrictas como pandas
• SPARK-54027 Compatibilidad con RTM de origen de Kafka
• SPARK-50284 Cambio de documentos para la función parseJson
• SPARK-56035 [SQL] Introducción AggregationValidator a la validación de resolución Aggregate de paso único
• SPARK-55557 Revertir "[SC-223720][SQL] Las funciones hiperbólicas no deben desbordarse con entradas grandes".
• SPARK-56075 Eliminación de un lote de clases de error de Python inactivas
• SPARK-55967 Unificar la conversión de columnas para conectar dataframe
• SPARK-53915 Adición de RealTimeScanExec y capacidad para ejecutar lotes de larga duración
• SPARK-55557 Las funciones hiperbólicas no deben desbordarse con entradas grandes
• SPARK-55147 Delimitar rango de marcas de tiempo para la obtención de unión de intervalos de tiempo en formato de estado V4
• SPARK-56056 Compatibilidad con la generación de perfiles de trabajo más sencilla con viztracer
• SPARK-55948 Adición de la API del conector CDC DSv2, la resolución del analizador y la cláusula SQL CHANGES
• SPARK-54599 Volver a aplicar "[SC-219008][PYTHON] Refactorizar PythonExcept...
• SPARK-55390 Consolidar SQL_SCALAR_ARROW_UDF lógica de contenedor, asignador y serializador
• SPARK-56023 Mejor equilibrio de carga en LowLatencyMemoryStream
• SPARK-55986 Actualizar negro a 26.3.1
• SPARK-55667 Mover check_dependencies a init
• SPARK-55145 Compatibilidad con Avro para codificadores de clave de estado de RocksDB basados en marca de tiempo
• SPARK-53970 Quite la etiqueta "opcional" incorrecta para messageName...
• SPARK-55059 Revertir "[SC-224058][PYTHON] Eliminar solución temporal para tablas vacías en toPandas"
• SPARK-50111 Añadir compatibilidad con subgráficas para gráficos circulares en el backend de Plotly
• SPARK-56081 Alineación del control de idxmax e idxmin NA con pandas 3
• SPARK-56080 Alinear Series.argmax/argmin con control de pandas 3.0 NA
• SPARK-56060 Manejo de la conversión de cadenas nulas de Pandas 3 en describe() para marcos de tiempo vacíos
• SPARK-55059 Eliminación de la solución alternativa de tabla vacía en toPandas
• SPARK-55995 Compatibilidad con TIMESTAMP WITH LOCAL TIME ZONE en la sintaxis SQL
• SPARK-55976 Uso de Set en lugar de Seq para privilegios de escritura
• SPARK-56073 Simplificación de la compilación de PythonRunnerConfMap
• SPARK-55887 Manejo especial para CollectLimitExec/CollectTailExec evitar escaneos completos de tablas
• SPARK-55980 Aplicar siempre _cast_back_float en aritmética numérica
• SPARK-55357 Corrección de docstring para timestamp_add
• SPARK-55667 Revertir "[SC-223289][PYTHON][CONNECT] Mover check_dependencies a init"
• SPARK-54285 Revert "[PYTHON] Almacenar en caché la información de la zona horaria para evitar una costosa conversión de marcas de tiempo"
• SPARK-56021 Aumentar el umbral predeterminado de AutoSnapshotRepair maxChangeFileReplay de 50 a 500
• SPARK-55870 Añadir documentación para tipos geográficos
• SPARK-55962 Usar getShort en lugar de getInt en la conversión en putShortsFromIntsLittleEndian plataformas Little Endian
• SPARK-55903 Simplificación de la evolución del esquema MERGE y comprobación de privilegios de escritura
• SPARK-55326 Liberar sesión remota cuando se establece SPARK_CONNECT_RELEASE_SESSION_ON_EXIT
• SPARK-55667 Mover check_dependencies a init
• SPARK-55884 Agregar v1StatsToV2Stats a DataSourceV2Relation
• SPARK-55929 Añadir toString() faltante a TableChange.UpdateColumnDefaultValue
• SPARK-55851 Aclarar los tipos de partición de fuente de datos y lectura de datos
• SPARK-55828 Agregue DSV2 TableChange toString y corrija la clase de error que falta para Merge Into Schema Evolution
• SPARK-55790 Creación de un registro SRS completo mediante datos de PROJ 9.7.1
• SPARK-55645 Añadir serdeName a CatalogStorageFormat
• SPARK-54796 Corrección del NPE causado por la condición de carrera entre la inicialización del ejecutor y la migración aleatoria
• SPARK-55983 Nuevas funcionalidades y correcciones de errores del analizador de paso único
• SPARK-55964 Coherencia de la memoria caché: borrar el registro de funciones en DROP DATABASE
• SPARK-55868 Corrección de la inserción de predicado para InMemoryTable para V2Filters
• SPARK-55973 Optimización leftSemi para la combinación de flujo de flujo
• SPARK-54665 Corrección de la comparación booleana frente a cadenas para que coincida con el comportamiento de Pandas
• SPARK-55539 Permitir la conversión de GeographyType a GeometryType
• SPARK-55695 Evitar el planeamiento doble en operaciones de nivel de fila
• SPARK-55904 Uso de _check_same_session para restringir los tipos
• SPARK-55965 Agregar advertencia cuando pandas >= 3.0.0 se usa con PySpark
• SPARK-55493 [SS] No crear directorios en el registro de compensación o confirmación de puntos de control de transmisión en StateDataSource
• SPARK-55851 Revertir "[SC-223270][PYTHON] Aclarar los tipos de partición y lectura del origen de datos"
• SPARK-55645 Revertir "[SC-221839][SQL] Agregar serdeName a CatalogStorageFormat"
• SPARK-55640 Propagación de errores de análisis de WKB para geometría y geografía
• SPARK-55693 Evite el interbloqueo haciendo que SparkSession.observationManager sea una val no diferida
• SPARK-55528 Adición de compatibilidad con intercalación predeterminada para UDF de SQL
• SPARK-55860 Usar UNABLE_TO_INFER_SCHEMA en lugar de UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Agregar estados sql invalidPlanInput para sql/connect
• SPARK-55645 Añadir serdeName a CatalogStorageFormat
• SPARK-55716 Compatibilidad con la aplicación de restricciones NOT NULL para las inserciones de tabla de origen de archivos V1
• SPARK-53226 Hacer que ClosureCleaner funcione con Java22+
• SPARK-55997 Establecer un límite superior para "prefixScan" en el proveedor de almacenamiento de estado de RocksDB
• SPARK-55851 Aclarar los tipos de partición de fuente de datos y lectura de datos
• SPARK-55954 Quitar la sugerencia de tipo de sobrecarga incorrecta para fillna
• SPARK-56016 Conservar las columnas series con nombre en concat con ignore_index en pandas 3
• SPARK-55502 Unificar el control de errores de conversión de UDF y UDTF Arrow
• SPARK-55989 Conservar tipos de datos de índice que no son int64 en restore_index
• SPARK-55955 Eliminar indicación de tipo de sobrecarga para eliminar
• SPARK-55945 [SDP] Admite identificadores estructurados para flujos en prototipos de análisis diligentes de SDP
• SPARK-55714 JDK podría producir ArithmeticException sin mensaje
• SPARK-55991 Corrección de la corrupción de texto SQL relacionado con Unicode cuando se utilizan parámetros
• SPARK-55696 Adición de un error explícito a Encoders.bean para la clase de interfaz
• SPARK-55533 Compatibilidad con IGNORE NULLS/RESPECT NULLS para collect_set
• SPARK-55987 Corrección de la extracción de marca de tiempo de unión en ventana V4 mediante findJoinKeyOrdinalForWatermark
• SPARK-55946 Configuración de pandas_priority para que las operaciones binarias mixtas se envíen correctamente a pandas-on-Spark
• SPARK-55264 Adición del comando ExecuteOutput a las canalizaciones de Spark Connect proto
• SPARK-47672 Evitar la doble evaluación del filtro pushDown con pushdown de proyección
• SPARK-55780 Reemplazar el logotipo PNG por SVG en la interfaz de usuario web de Spark
• SPARK-55821 Aplicar argumentos de solo palabra clave en los métodos de inicialización del serializador
• SPARK-55621 Corrección del uso ambiguo e innecesario de Unicode
• SPARK-55662 Implementación del argumento del eje idxmin
• SPARK-55631ALTER TABLE debe invalidar la caché de las tablas DSv2
• SPARK-55692 Corrección de SupportsRuntimeFiltering y la SupportsRuntimeV2Filtering documentación
• SPARK-55928 Nuevo linter para la eficacia de la configuración en vistas y UDF
• SPARK-55440 Marco de tipos: fase 1a- Core Type System Foundation
• SPARK-55631 Revertir "[SC-221596][SQL] ALTER TABLE debe invalidar la caché para las tablas DSv2".
• SPARK-55631ALTER TABLE debe invalidar la caché de las tablas DSv2
• SPARK-55683 Optimización VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 Corrección que no puede cargar el almacén de estado porque el mantenimiento eliminó el archivo SST reutilizado
• SPARK-55946 Revertir "[SC-223027][PS] Configurar pandas_priority para que las operaciones binarias mixtas se envíen correctamente a pandas-on-Spark".
• SPARK-55891 Conservar el contexto de SQL scripting dentro de EXECUTE IMMEDIATE
• SPARK-55907 Corrección de posiciones de error incorrectas para tipos de datos no válidos en CREATE FUNCTION
• SPARK-55946 Configuración de pandas_priority para que las operaciones binarias mixtas se envíen correctamente a pandas-on-Spark
• SPARK-55694 Restricciones de bloqueo en CTAS/RTAS en el nivel de analizador
• SPARK-55682 ServiceLoader devuelto iterator puede iniciarse NoClassDefFoundErrorhasNext()
• SPARK-55155 Corregir SETCATALOG para usar caracteres especiales y comillas invertidas en el nombre del identificador
• SPARK-55932 Corrección para que el analizador de variantes XML no se bloquee con una escala negativa
• SPARK-55673 Adición de más pruebas para el codificador de tipos anidados
• SPARK-55679 Corregir la detección de sun.io.serialization.extendedDebugInfo en Java 25
• SPARK-55957 Agregar "DATA_SOURCE_NOT_FOUND" en Catalog.ERROR_HANDLING_RULES
• SPARK-55052 Agregar propiedades AQEShuffleRead al árbol de plan físico
• SPARK-55652 Optimización VectorizedPlainValuesReader.readShorts() con acceso directo a matrices para búferes de montón
• SPARK-55659 Mejorar EventLogFileWriter para registrar la operación stop
• SPARK-54666 Dejar los tipos numéricos sin cambios en to_numeric
• SPARK-55654 Habilitar la poda de TreePattern para EliminateSubqueryAliases y ResolveInlineTables
• SPARK-55533 Deshacer "[SC-220538][SQL] Compatibilidad con IGNORE NULLS/RESPECT NULLS para collect_set"
• SPARK-55901 Generar un error en Series.replace() sin argumentos
• SPARK-55896 Usar funciones numpy en lugar de funciones incorporadas
• SPARK-55655 Hacer CountVectorizer que el vocabulario sea determinista cuando los recuentos sean iguales
• SPARK-55811 [SQL] Captura NonFatal en lugar de UnresolvedException al invocar nodeWithOutputColumnsString
• SPARK-55533 Compatibilidad con IGNORE NULLS/RESPECT NULLS para collect_set
• SPARK-55435 Usar StringBuilder en lugar de StringBuffer
• SPARK-54807 Permitir nombres cualificados para funciones integradas y de sesión (#198171)
• SPARK-55854 Etiquetar atributos duplicados de paso a través en la salida de Expandir para evitar AMBIGUOUS_REFERENCE
• SPARK-55261 Implementación de la compatibilidad de lectura de Parquet con tipos geográficos
• SPARK-55416 fuga de memoria en la fuente de datos de streaming de Python cuando no se actualiza el desplazamiento final
• SPARK-55465 Compatibilidad con GeometryType en convert_numpy
• SPARK-55801 Corregir la sugerencia de tipo de _SimpleStreamReaderWrapper.getCache
• SPARK-55800 Quitar la comprobación de tipo que no se usa para datetime.date
• SPARK-55663 Unificar módulo para funciones de origen de datos
• SPARK-55665 Unificar cómo los trabajadores establecen conexión con el executor
• SPARK-53446 Optimización de las operaciones de eliminación de BlockManager con asignaciones de bloques en caché
• SPARK-55867 Corrección de stringMethods con pandas 3
• SPARK-55501 Corrección de la diferencia de listagg distinct + dentro del orden del grupo por error
• SPARK-55558 Añadir soporte para las operaciones de conjunto Tuple/Theta
• SPARK-55636 Adición de errores detallados en caso de desduplicación de columnas no válidas
• SPARK-55788 Compatibilidad con ExtensionDType para enteros en UDF de Pandas
• SPARK-55464 Soporte para GeographyType en convert_numpy
• SPARK-55530 Compatibilidad con conjuntos de resultados geográficos en Hive y el servidor Thrift
• SPARK-55525 Corrección de UDTF_ARROW_TYPE_CONVERSION_ERROR con un parámetro de mensaje de error indefinido
• SPARK-55626 No cargue columnas de metadatos en Table a menos que sea necesario en V2TableUtil
• SPARK-55533 Deshacer "[SC-220538][SQL] Compatibilidad con IGNORE NULLS/RESPECT NULLS para collect_set"
• SPARK-55435 Revertir "[SC-219656][CORE][SQL] Use StringBuilder en lugar de StringBuffer"
• SPARK-55533 Compatibilidad con IGNORE NULLS/RESPECT NULLS para collect_set
• SPARK-54452 Corrección de una respuesta vacía del servidor SparkConnect para spark.sql(...) dentro de FlowFunction
• SPARK-55638 Refactorización de la serialización WKT en GeometryModel
• SPARK-55551 Mejorar el particionamiento de la salida de BroadcastHashJoinExec
• SPARK-54314 Mejorar la capacidad de depuración del lado del servidor en Spark Connect mediante la captura del nombre de archivo y el número de línea de la aplicación cliente
• SPARK-55517 Optimización VectorizedPlainValuesReader.readBytes() con acceso directo a matrices para búferes de montón
• SPARK-55495 Solución EventLogFileWriters.closeWriter para manejar checkError
• SPARK-55279 Agregar sketch_funcs grupo para funciones SQL de DataSketches
• SPARK-55435 Usar StringBuilder en lugar de StringBuffer
• SPARK-55064 Compatibilidad con el reintento aleatorio de nivel de consulta indeterminado
• SPARK-55411 SPJ puede iniciar ArrayIndexOutOfBoundsException cuando las claves de combinación son inferiores a las claves de clúster.
• SPARK-55451 Los cursores deben empezar a recopilar resultados en OPEN, no al primer FETCH.
• SPARK-54687 Añadir más casos extremos con generadores
• SPARK-55691 Cliente GetStatus
• SPARK-55277 Adición protobuf_funcs de un grupo para las funciones SQL de Protobuf
• SPARK-55822 Cambiar el nombre _LEGACY_ERROR_TEMP_0052 a CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Solucione una excepción inesperada en algunos casos de prueba de CoarseGrainedExecutorBackendSuite
• SPARK-55275 Cobertura del estado SQL: IllegalStateException
• SPARK-55462 Vuelva a aplicar "[SC-221123][PYTHON] Admita VariantType en convert_numpy"
• SPARK-55062 Compatibilidad con extensiones proto2 en funciones protobuf
• SPARK-55248 Limpiar el uso de la API en desuso de Jackson en streaming.checkpointing.Checksum
• SPARK-55250 Reducción de las llamadas de cliente de Hive en CREATE NAMESPACE
• SPARK-55247 Limpieza del uso de la API en desuso relacionado con o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql debe omitir la línea de comentarios con espacios en blanco iniciales
• SPARK-55826 Cambiar el nombre _LEGACY_ERROR_TEMP_0006 a MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Adición de un grupo de avro_funcs para las funciones de Avro SQL
• SPARK-54914 [SQL] Corrección del operador DROP en la sintaxis de canalización para admitir nombres de columna calificados
• SPARK-55113EnsureRequirements debe copiar etiquetas
• SPARK-55074 Agregar prueba para coerción de tipos ANSI en Merge Into
• SPARK-54217 Sincronización de la decisión de eliminación de MonitorThread de PythonRunner
• SPARK-54374 Ampliar el atributo viewBox del SVG en la inicialización de la visualización del plan SQL
• SPARK-54971 Agregar la sintaxis WITH SCHEMA EVOLUTION para SQL INSERT
• SPARK-55065 Evite realizar dos llamadas API de JDBC
• SPARK-55033 Corregir stringArgs de los comandos de escritura de DSv2
• SPARK-55041 Limpieza de elementos privados sin usar del módulo principal
• SPARK-55338 Centralización de la lógica de descompresión de solicitudes de Spark Connect en el interceptor gRPC
• SPARK-55825 Cambiar el nombre _LEGACY_ERROR_TEMP_1309 a PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Validar que eventTime en withWatermark es una columna de nivel superior
• SPARK-55802 Corrección del desbordamiento de enteros al calcular los bytes de lotes de Arrow
• SPARK-55694 Restricciones de bloqueo en CTAS/RTAS en el nivel de analizador
• SPARK-55843 Controlar la unidad de datetime64 y timedelta64 dtypes
• SPARK-55824 Cambiar el nombre _LEGACY_ERROR_TEMP_1034 a WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Refactorizar ExpandExec para que sea más concisa
• SPARK-55341 Agregar marca de nivel de almacenamiento para las relaciones locales almacenadas en caché
• SPARK-54599 Revert "[SC-219008][PYTHON] Refactorizar PythonException para que pueda tomar errorClass con sqlstate".
• SPARK-46167 Adición de la implementación del eje a DataFrame.rank
• SPARK-54599 Refactorización de PythonException para que pueda tomar errorClass con sqlstate
• SPARK-55529 Volver a aplicar [ES-1721989][SC-220716][PYTHON] Restaurar combinación por lotes a nivel de Arrow para applyInPandas no iterador
• SPARK-55794 Siempre alias OuterReference
• SPARK-55583 Validar los tipos de esquema de Arrow en la fuente de datos de Python
• SPARK-37711 Reducción del recuento de trabajos de Pandas de O(N) a O(1)
• SPARK-46168 Agregar argumento de eje para idxmax
• SPARK-46162 Implementación de nunique con axis=1
• SPARK-55552 Agregar compatibilidad con VariantType a ColumnarBatchRow.copy() y MutableColumnarRow
• SPARK-55647 Se ha corregido ConstantPropagation la sustitución incorrecta de atributos por intercalaciones no estables binarias
• SPARK-55747 Corrección de NPE al acceder a elementos de una matriz que es null
• SPARK-55757 Mejora de la spark.task.cpus validación
• SPARK-55699 Lectura incoherente de LowLatencyClock cuando se usa junto con ManualClock
• SPARK-55702 Soporte de predicado de filtro en funciones de agregado de ventana
• SPARK-55510 Corregir deleteRange del almacén de estado de Rocksdb para invocar a changelogWriter
• SPARK-55739 Optimizar OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian usando Platform.copyMemory en plataformas little-endian
• SPARK-55730 No poner en minúsculas la zona horaria
• SPARK-55701 ES-1694761[SS] Corregir la condición de carrera en CompactibleFileStreamLog.allFiles
• SPARK-55462 Revertir "[SC-221123][PYTHON] Soporta VariantType en convert_numpy"
• SPARK-55144 Introducción de una nueva versión de formato de estado para la unión de flujo a flujo eficiente
• SPARK-55606 Implementación del lado servidor de GetStatus API
• SPARK-55462 Compatibilidad con VariantType en convert_numpy
• SPARK-55600 Corrección de pandas en flecha pierde el recuento de filas cuando el esquema tiene 0 columnas en el modelo clásico
• SPARK-55700 Corrección del control de claves de enteros en series con índice no entero
• SPARK-55349 Consolidación de utilidades de conversión de pandas a Arrow en serializadores
• SPARK-55681 Corregir la igualdad del tipo de dato único después de la deserialización (reintento)
• SPARK-55681 Revertir "[SC-221427][SC-214079][SQL] Corregir la igualdad singleton DataType después de la deserialización"
• SPARK-55681 Corrige la igualdad de DataType singleton después de la deserialización
• SPARK-55674 Optimización de la conversión de tablas de 0 columnas en Spark Connect
• SPARK-55323 Volver a aplicar "[SC-218885][PYTHON] Mover metadatos de UDF a EvalConf para simplificar el protocolo de trabajo"
• SPARK-55322 Volver a aplicar [SC-221062][SQL] MaxBy y MinBy Overload con elementos K
• SPARK-55323 Revertir "[SC-218885][PYTHON] Mover metadatos de UDF a EvalConf para simplificar el protocolo de trabajo"
• SPARK-55615 Mover la importación de SparkContext a la rama de clase
• SPARK-55323 Traslado de metadatos de UDF a EvalConf para simplificar el protocolo de trabajo
• SPARK-55648 Manejar un error de argumento de palabra clave inesperado con pandas 3
• SPARK-55647 Revertir "[SC-221274][SQL] Corregir ConstantPropagation el reemplazo incorrecto de atributos por intercalaciones no estables binarias"
• SPARK-55646 Se realizó una refactorización de SQLExecution.withThreadLocalCaptured para separar la captura de variables locales de subproceso de la ejecución.
• SPARK-54854 Agregar un identificador de consulta UUIDv7 a eventos de SQLExecution
• SPARK-55619 Corrección de métricas personalizadas en caso de particiones fusionadas
• SPARK-55647 Se ha corregido ConstantPropagation la sustitución incorrecta de atributos por intercalaciones no estables binarias
• SPARK-55322 Revertir "[SC-221062][SQL] MaxBy y MinBy Sobrecarga con elementos K"
• SPARK-54740 Iniciar faulthandler al principio del modo de demonio
• SPARK-55493 [SS] No crear directorios (mkdirs) en el directorio de estado del punto de control de streaming en StateDataSource
• SPARK-55322MaxBy y MinBy Sobrecarga con elementos K
• SPARK-55625 Corrección de StringOps para que str dtype funcione correctamente
• SPARK-55161 Reaplicar "[SC-218867][PYTHON] Soporte para generadores de perfiles en la fuente de datos de Python"
• SPARK-55505 Corrección del NPE en la lectura de EXECUTION_ROOT_ID_KEY en escenarios concurrentes
• SPARK-55111 Volver a comprobar la detección de reparticiones sin terminar en el reinicio de la consulta
• SPARK-55593 Unificar el estado de agregación para vector_avg/vector_sum
• SPARK-55500 Corregir el ciclo del analizador entre ApplyDefaultCollation, ExtractWindowExpressions y CollationTypeCasts
• SPARK-55494 Introducción de iterador/prefixScan con varios valores en StateStore API
• SPARK-55561 Adición de reintentos para todos los métodos de cliente de administración de Kafka
• SPARK-55296 Compatibilidad con el modo CoW con pandas 3
• SPARK-55479 Corrección de problemas de estilo en SparkShreddingUtils
• SPARK-55372 Corrección de SHOW CREATE TABLE para tablas o vistas con intercalación predeterminada
• SPARK-55333 Habilitar DateType y TimeType en convert_numpy
• SPARK-55129 Introducir nuevos codificadores de clave para la marca de tiempo como una primera clase (UnsafeRow)
• SPARK-46163 Parámetros filter_func y errores en DataFrame.update
• SPARK-55372 Revertir "[SC-220571][SQL] Corrección SHOW CREATE TABLE para tablas y vistas con intercalación predeterminada"
• SPARK-55480 Quitar todos los noqa sin usar para la trufa
• SPARK-55471 Adición de compatibilidad del optimizador para SequentialStreamingUnion
• SPARK-55584 Producir un mejor error en la subconsulta escalar para EXEC IMMEDIATE
• SPARK-55161 Revertir "[SC-218867][PYTHON] Soporte para generadores de perfiles en la fuente de datos de Python"
• SPARK-55506 Pasar esquema de entrada explícito a to_pandas en CogroupPandasUDFSerializer
• SPARK-55586 Agregar jdbc.py ejemplo
• SPARK-55161 Generadores de perfiles de soporte técnico en el origen de datos de Python
• SPARK-55529 Revertir "[SC-220716][PYTHON] Restaurar combinación por lotes de nivel de flecha para applyInPandas que no son iteradores"
• SPARK-55385 Mitigación de la recomputación en zipWithIndex
• SPARK-55529 Restaurar combinación de lotes de nivel de flecha para applyInPandas que no son iteradores
• SPARK-55389 Consolidar la lógica de envoltorio, mapeador y serializador
• SPARK-55406 Reimplementar el grupo de hilos para ExecutePlanResponseReattachableIterator
• SPARK-55372 Solución SHOW CREATE TABLE para tablas o vistas con intercalación predeterminada
• SPARK-55367 Uso de venv para run-pip-tests
• SPARK-55355 Actualización de la versión de mypy a la versión más reciente
• SPARK-55460 Quitar E203 de la lista de ignorados de ruff
• SPARK-55541 Compatibilidad con geometría y geografía en convertidores de tipos de catalizador
• SPARK-55449 Habilitación del análisis y escritura de WKB para Geography
• SPARK-55339 Implementación de la compatibilidad con el escritor WKT para objetos geo
• SPARK-54122 Implementación de TwsTester en Scala
• SPARK-54805 Implementación de TwsTester en PySpark
• SPARK-55256 Vuelva a aplicar "[SC-218596][SQL] Admita IGNORE NULLS/RESPECT NULLS para array_agg y collect_list"
• SPARK-55156 Tratar con include_groups para groupby.apply
• SPARK-55401 Adición de lógica de reintento y control de tiempo de espera a la descarga de instalación de pyspark
• SPARK-55229 Implementación de DataFrame.zipWithIndex en PySpark
• SPARK-55462 Compatibilidad con UserDefinedType en convert_numpy
• SPARK-55483 Corrección de NPE en PivotFirst cuando la columna dinámica es un tipo no atómico con valores NULL
• SPARK-55490 Incluir groupby(as_index=False) una agrupación que no está en el DataFrame con pandas 3
• SPARK-55473 Reemplace itertools.tee por cadena en applyInPandasWithState
• SPARK-55404 Generar siempre KeyboardInterrupt desde el controlador SIGINT
• SPARK-55407 Reemplace logger.warn por logger.warning

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de CRAN del Posit Administrador de paquetes el 2025-11-20.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)