Configuración del entorno sin servidor

En este artículo se explica cómo usar el panel lateral de entorno de un notebook sin servidor para configurar dependencias, políticas de presupuesto para funciones sin servidor, memoria y versión del entorno. Este panel proporciona un único lugar para administrar la configuración sin servidor del cuaderno. Las opciones configuradas en este panel solo se aplican cuando el cuaderno está conectado al proceso sin servidor.

Para expandir el panel lateral Entorno , haga clic en el botón situado a la derecha del cuaderno.

Uso del proceso de GPU sin servidor

Siga estos pasos para usar la computación GPU sin servidor en el notebook de Databricks:

1. En un cuaderno, haga clic en el menú desplegable Conectar en la parte superior y seleccione GPU sin servidor.
2. Haga clic en el Para abrir el panel lateral Entorno .
3. Seleccione A10 en el campo Acelerador .
4. Seleccione Ninguno para el entorno predeterminado o AI v4 para el entorno de IA en el campo Entorno base .
5. Si eligió Ninguno en el campo Entorno base , seleccione la versión del entorno.
6. Haga clic en Aplicar y, a continuación, confirme que desea aplicar el proceso de GPU sin servidor al entorno del cuaderno.

Para más información, consulte Proceso de GPU sin servidor.

Uso de computación sin servidor con alta capacidad de memoria

Si se producen errores de memoria insuficiente en el cuaderno, puede configurar el cuaderno para que use un tamaño de memoria mayor. Esta configuración aumenta el tamaño de la memoria REPL que se usa al ejecutar código en el cuaderno. No afecta al tamaño de memoria de la sesión de Spark. El uso sin servidor con memoria alta tiene una tasa de emisión de DBU mayor que la memoria estándar.

1. En la interfaz de usuario del cuaderno, haga clic en el panel lateral Entorno.
2. En Memoria, seleccione Memoria Alta.
3. Haga clic en Aplicar.

Esta configuración también se aplica a las tareas de trabajo del cuaderno, que se ejecutan con las preferencias de memoria del cuaderno. La actualización de la preferencia de memoria en el cuaderno afecta a la próxima ejecución de la tarea.

Selección de una directiva de presupuesto sin servidor

Las directivas de presupuesto sin servidor permiten a la organización aplicar etiquetas personalizadas al uso sin servidor para la atribución de facturación pormenorizada.

Si el área de trabajo usa directivas de presupuesto sin servidor para atribuir el uso sin servidor, puede seleccionar la directiva de presupuesto sin servidor que desea aplicar al cuaderno. Si un usuario se asigna solo a una directiva de presupuesto sin servidor, esa directiva se selecciona de forma predeterminada.

Puede seleccionar la política de presupuesto para entornos sin servidor después de que el notebook esté conectado al cómputo sin servidor mediante el panel lateral Entorno:

1. En la interfaz de usuario del cuaderno, haga clic en el panel lateral Entorno.
2. En Directiva de presupuesto, seleccione la directiva de presupuesto sin servidor que desea aplicar al cuaderno.
3. Haga clic en Aplicar.

Una vez completada esta configuración, todo el uso de portátiles hereda las etiquetas personalizadas de la política de presupuesto sin servidor.

Selección de una versión del entorno

Las versiones de entorno permiten que las cargas de trabajo sin servidor reciban actualizaciones de motor independientes sin afectar a la compatibilidad de aplicaciones. Para ver detalles sobre cada versión del entorno, consulte Versiones de entorno sin servidor. Databricks recomienda elegir la versión más reciente para obtener las características más actualizadas del cuaderno.

Para seleccionar una versión del entorno:

1. En la interfaz de usuario del cuaderno, haga clic en el panel lateral Entorno.
2. En Versión del entorno, seleccione una versión.
3. Haga clic en Aplicar.

Adición de dependencias al cuaderno

Dado que la arquitectura serverless no admite políticas de computación ni scripts de inicialización, se deben agregar las dependencias personalizadas mediante el panel lateral del Entorno. Puede agregar dependencias individualmente o usar un entorno base que se pueda compartir para instalar varias dependencias.

Para agregar individualmente una dependencia:

1. En la interfaz de usuario del cuaderno, haga clic en el panel lateral Entorno.

2. En la sección Dependencias , haga clic en Agregar dependencia y escriba la ruta de acceso de la dependencia en el campo . Puede especificar una dependencia en cualquier formato que sea válido en un archivo requirements.txt. Los archivos de rueda Python o los proyectos Python (por ejemplo, el directorio que contiene un pyproject.toml o un setup.py) pueden estar ubicados en archivos de espacio de trabajo o en volúmenes de Unity Catalog.

   • Si usa un archivo del área de trabajo, la ruta de acceso debe ser absoluta e iniciar con /Workspace/.
   • Si se utiliza un archivo en un volumen de Unity Catalog, la ruta debe tener el siguiente formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Haga clic en Aplicar. Esto instala las dependencias en el entorno virtual del cuaderno y reinicia el proceso de Python.

Para ver las dependencias instaladas, haga clic en la pestaña Instalado en el panel lateral Entornos . Los registros de instalación de PIP para el entorno del cuaderno también están disponibles haciendo clic en registros PIP en la parte inferior del panel.

Adición de dependencias a un entorno base

Un entorno base es un archivo YAML almacenado como un archivo de área de trabajo o en un volumen de catálogo de Unity que especifica dependencias de entorno adicionales. Puede seleccionar uno de los entornos base del área de trabajo en el menú desplegable Entorno base o seleccionar Personalizado para usar una especificación de entorno personalizada.

Puede instalar dependencias adicionales individualmente sobre un entorno base. Las dependencias instaladas individualmente invalidan o amplían el entorno base de ese cuaderno.

Para obtener instrucciones de administrador del área de trabajo, consulte Administración de entornos base sin servidor.

Creación de una especificación de entorno personalizada

Puede crear y reutilizar especificaciones de entorno personalizadas.

1. En un cuaderno sin servidor, seleccione una versión del entorno y agregue las dependencias que quiera instalar.
2. Haga clic en el icono de menú En la parte inferior del panel de entorno, haga clic en Exportar entorno.
3. Guarde la especificación como un archivo de área de trabajo o en un volumen de catálogo de Unity.

Para usar la especificación de entorno personalizada en un cuaderno, seleccione Personalizado en el menú desplegable Entorno base y, a continuación, use el icono de carpeta re:[Icono de carpeta] para seleccionar el archivo YAML.

Crear utilidades comunes para compartir en su espacio de trabajo

En el ejemplo siguiente se muestra cómo almacenar una utilidad común en un archivo de área de trabajo y agregarla como dependencia en el cuaderno sin servidor:

1. Cree una carpeta con la estructura siguiente. Compruebe que los consumidores del proyecto tengan acceso adecuado a la ruta de acceso del archivo:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Rellene pyproject.toml de esta manera:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Agregue una función al init.py archivo. Por ejemplo:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. En la interfaz de usuario del cuaderno, haga clic en el panel lateral Entorno.

5. En la sección Dependencias, haga clic en Agregar dependencia e introduzca la ruta de su archivo util. Por ejemplo: /Workspace/helper_utils.

6. Haga clic en Aplicar.

Ahora puede usar la función en el cuaderno:

from helpers import greet
print(greet('world'))

Esta es la salida como:

Hello, world!

Restablecer las dependencias del entorno

Si tu cuaderno de notas está conectado a una computación sin servidor, Databricks almacena automáticamente en caché el contenido del entorno virtual del cuaderno de notas. Esto significa que, por lo general, no es necesario volver a instalar las dependencias de Python especificadas en el Entorno panel lateral cuando se abre un cuaderno existente, incluso si se ha desconectado debido a la inactividad.

El almacenamiento en caché del entorno virtual de Python también se aplica a los trabajos. Cuando se ejecuta un trabajo, cualquier tarea del trabajo que comparte el mismo conjunto de dependencias que una tarea completada en esa ejecución es más rápida, ya que las dependencias necesarias ya están disponibles.

Para borrar la memoria caché del entorno y realizar una instalación nueva de las dependencias especificadas en el panel lateral Entorno de un cuaderno asociado al proceso sin servidor, haga clic en la flecha situada junto a Aplicar y, a continuación, haga clic en Restablecer a los valores predeterminados.

Si instala paquetes que interrumpen o cambian el cuaderno principal o el entorno de Apache Spark, quite los paquetes infractores y, a continuación, restablezca el entorno. Iniciar una nueva sesión no borra toda la memoria caché del entorno.

Configuración de repositorios de paquetes de Python predeterminados

Los administradores del área de trabajo pueden configurar repositorios de paquetes privados o autenticados dentro de áreas de trabajo como la configuración de pip predeterminada para cuadernos sin servidor y trabajos sin servidor. Esto permite a los usuarios instalar paquetes desde repositorios internos de Python sin definir explícitamente index-url ni extra-index-url.

Para obtener instrucciones, los administradores del área de trabajo pueden hacer referencia a Configuración de repositorios de paquetes de Python predeterminados.

Configuración del entorno para tareas de trabajo

En el caso de los tipos de tareas de trabajo, como cuadernos, scripts de Python, rueda de Python, JAR o tareas dbt, las dependencias de biblioteca se heredan de la versión del entorno sin servidor. Para ver la lista de bibliotecas instaladas, consulte la sección Bibliotecas de Python instaladas o Bibliotecas instaladas de Java y Scala de la versión del entorno que usa. Si una tarea requiere una biblioteca que no está instalada, puede instalar la biblioteca desde archivos del área de trabajo, volúmenes de Catálogo de Unity o repositorios de paquetes públicos.

En el caso de notebooks con un entorno ya existente, puede ejecutar la tarea utilizando el entorno del notebook o sobrescribirlo seleccionando un entorno a nivel de tarea en su lugar.

Para agregar una biblioteca al crear o editar una tarea de trabajo:

1. En el menú Desplegable entorno y bibliotecas, haga clic en junto al entorno Predeterminado o haga clic en + Agregar nuevo entorno.

   

2. Seleccione la versión del entorno en la lista desplegable Versión del entorno. Consulte Versiones del entorno sin servidor. Databricks recomienda seleccionar la versión más reciente para obtener las características más actualizadas.

3. En el cuadro de diálogo Configurar entorno, haga clic en + Agregar biblioteca.

4. Seleccione el tipo de dependencia en el menú desplegable en Bibliotecas.

5. En el cuadro de texto Ruta de acceso de archivo, escriba la ruta de acceso a la biblioteca.

• Para una rueda de Python en un archivo de área de trabajo, la ruta de acceso debe ser absoluta e iniciar con /Workspace/.

• Para un Python Wheel en un volumen de Unity Catalog, la ruta debe ser /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Para un archivo requirements.txt, seleccione PyPi y escriba -r /path/to/requirements.txt.

  

1. Haga clic en Confirmar o + Agregar biblioteca para agregar otra biblioteca.
2. Si va a agregar una tarea, haga clic en Crear tarea. Si va a editar una tarea, haga clic en Guardar tarea.