Compartir a través de

Limitaciones con Databricks Connect para Python

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se enumeran las limitaciones con Databricks Connect para Python. Databricks Connect le permite conectar los clústeres de Azure Databricks a entornos de desarrollo integrado populares, servidores de cuadernos y otras aplicaciones personalizadas. Consulte ¿Qué es Databricks Connect?. Para obtener la versión de Scala de este artículo, consulte Limitaciones con Databricks Connect para Scala.

Importante

En función de la versión de Python, Databricks Runtime y Databricks Connect que use, puede haber requisitos de versión para algunas características. Consulte Requisitos de uso de Databricks Connect.

Disponibilidad de funcionalidades

No disponible en Databricks Connect para Databricks Runtime 13.3 LTS:

  • Streaming de foreachBatch
  • Creación de DataFrames de más de 128 MB
  • Consultas largas de más de 3600 segundos

No está disponible en Databricks Connect para Databricks Runtime 15.3 y versiones posteriores:

  • ApplyinPandas() y Cogroup() con proceso con el modo de acceso estándar

No está disponible en Databricks Connect para Databricks Runtime 16.3 y a continuación:

  • En el proceso sin servidor, las UDF no pueden incluir bibliotecas personalizadas.

No disponible:

  • dataframe.display() Interfaz de Programación de Aplicaciones (API)
  • Utilidades de Databricks: credentials, library, notebook workflow, widgets
  • Contexto de Spark
  • RDD
  • Bibliotecas que usan RDD, contexto de Spark o acceden a la JVM de Spark subyacente, como geoespacial de Mosaico, GraphFrames o GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (en su lugar, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Cambio del nivel de registro de log4j a través de SparkContext
  • No se admite el entrenamiento de ML distribuido.
  • Sincronización del entorno de desarrollo local con el clúster remoto
  • Last updated on