Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Importante
Esta característica se encuentra en su versión beta. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administración de versiones preliminares de Azure Databricks.
En esta página se proporcionan ejemplos de cuadernos para crear sistemas de recomendación mediante el proceso de GPU sin servidor. Estos ejemplos muestran cómo crear modelos de recomendación eficaces mediante enfoques modernos de aprendizaje profundo.
Modelo de recomendación de dos torres
Estos cuadernos muestran cómo convertir los datos de recomendación en formato de partición de datos de mosaico (MDS) y, a continuación, usar esos datos para crear un modelo de recomendación de dos torres. Este enfoque es especialmente eficaz para los sistemas de recomendación a gran escala.
Preparación de datos: Conversión del conjunto de datos del modelo de recomendación en formato MDS
En primer lugar, convierta el conjunto de datos de recomendación en el formato MDS para una carga eficaz de datos:
Conversión de datos
Entrenamiento del modelo: modelo de recomendación de dos torres mediante PyTorch Lightning
Entrene el modelo del recomendador de dos torres mediante el conjunto de datos preparado y la API de PyTorch Lightning Trainer en varios nodos de GPU (GPU A10 o H100).
Recomendador de PyTorch
Ejemplo: Ajuste de los modelos de inserción con llm-foundry en el proceso de GPU sin servidor
Los modelos de inserción son un componente fundamental de los sistemas de recomendación modernos, especialmente en la fase de recuperación en la que permiten una búsqueda eficaz de similitud en millones de elementos. Aunque el modelo de dos torres genera incrustaciones específicas de tareas, los modelos de inserción previamente entrenados se pueden ajustar para aplicaciones específicas del dominio para mejorar la calidad de recuperación.
En el cuaderno de ejemplo siguiente se muestra cómo usar el aprendizaje contrastivo para afinar un modelo de incrustación de estilo BERT en cómputo GPU sin servidor (SGC). Utiliza el marco llm-foundry con el entrenador de Composer para ajustar modelos como gte-large-en-v1.5, utilizando datos almacenados en tablas Delta. En este ejemplo se usa Mosaic Streaming para convertir datos en formato de partición de datos de mosaico (MDS) para la carga de datos distribuidos y MLflow para el seguimiento y el registro de modelos.
Ajuste del cuaderno del modelo de inserción
Nota:
- El modelo de inserción espera datos con columnas para
query_text,positive_passagey opcionalmentenegative_passages. - Las incrustaciones optimizadas se pueden usar en almacenes vectoriales para operaciones de búsqueda de similitud, lo que permite la recuperación eficaz de elementos relevantes para los sistemas de recomendaciones.
- Este enfoque es especialmente útil cuando necesita adaptar un modelo de inserción de uso general a su dominio o caso de uso específico.