Introducción a la implementación de los modelos de Microsoft Foundry

El catálogo de modelos de Microsoft Foundry es el centro para detectar y usar una amplia gama de modelos foundry para crear aplicaciones de IA generativas. Debe implementar modelos para que estén disponibles para recibir solicitudes de inferencia. Foundry ofrece un conjunto completo de opciones de implementación para Foundry Models, en función de sus necesidades y requisitos de modelo.

Opciones de implementación

Foundry proporciona varias opciones de implementación en función del tipo de modelos y recursos que necesita aprovisionar. Están disponibles las siguientes opciones de implementación:

• Implementación estándar en recursos de Foundry
• Implementación en puntos de conexión de API sin servidor
• Implementación en recursos de computación gestionados

El portal de Foundry puede elegir automáticamente una opción de implementación en función del entorno y la configuración. Use los recursos de Foundry para la implementación siempre que sea posible. Modelos que admiten múltiples opciones de implementación utilizan por defecto los recursos de Foundry para la implementación. Para acceder a otras opciones de implementación, use la CLI de Azure o el SDK de Azure Machine Learning para la implementación.

Implementación estándar en recursos de Foundry

Los recursos de Foundry (anteriormente denominados recursos de Azure AI Services) son la opción de implementación preferida en Foundry. Ofrece la gama más amplia de funcionalidades, como el procesamiento regional, de zona de datos o global, y ofrece opciones de rendimiento estándar y aprovisionado (PTU). Los modelos insignia de Foundry Models admiten esta opción de implementación.

Esta opción de implementación está disponible en:

• Recursos de fundición
• Recursos de Azure OpenAI¹
• Hub de Azure AI, cuando está conectado a un recurso Foundry

¹Si usa recursos de Azure OpenAI, el catálogo de modelos solo muestra Azure OpenAI en Foundry Models para su implementación. Puede obtener la lista completa de modelos de Foundry mediante la actualización a un recurso Foundry.

Para empezar a trabajar con la implementación estándar en recursos de Foundry, consulte Procedimientos: Implementación de modelos en modelos de Foundry.

Punto de conexión de API sin servidor

Esta opción de implementación solo está disponible en los recursos del centro de Inteligencia artificial de Azure. Permite crear puntos de conexión dedicados para hospedar el modelo, accesible a través de una API. Foundry Models admite puntos de conexión de API sin servidor con facturación de pago por uso y solo puede crear implementaciones regionales para puntos de conexión de API sin servidor.

Para comenzar con el despliegue en un punto de conexión de API sin servidor, consulte Despliegue de modelos como implementaciones de API sin servidor.

Cómputo gestionado

Esta opción de implementación solo está disponible en los recursos del centro de Inteligencia artificial de Azure. Permite crear un punto de conexión dedicado para hospedar el modelo en un proceso dedicado. Debe tener cuota de proceso en la suscripción para hospedar el modelo y se le factura por tiempo de actividad de proceso.

La implementación de computación gestionada es necesaria para colecciones de modelos que incluyen:

• Hugging Face
• Microservicios de inferencia de NVIDIA (NIMs)
• Modelos del sector (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
• Ladrillos de datos
• Modelos personalizados

Para empezar, consulte Cómo desplegar e inferir un despliegue de computación administrada y Despliegue de modelos Foundry en computación administrada con facturación de pago por uso.

Funcionalidades para las opciones de implementación

Use implementaciones estándar en recursos de Foundry siempre que sea posible. Esta opción de implementación proporciona la mayoría de las funcionalidades entre las opciones de implementación disponibles. En la tabla siguiente se enumeran los detalles sobre las funcionalidades específicas de cada opción de implementación:

² Una infraestructura de punto de conexión mínima se factura por minuto. No se le factura la infraestructura que hospeda el modelo en la implementación sin servidor. Después de eliminar el punto de conexión, no se acumulan cargos adicionales.

³ La facturación se realiza por minuto, según el nivel de producto y el número de instancias usadas en la implementación desde el momento de la creación. Después de eliminar el punto de conexión, no se acumulan cargos adicionales.

Contenido relacionado

• Configura tu proyecto de IA para usar Modelos Foundry
• Tipos de implementación en modelos de Foundry
• Implementación de modelos de Azure OpenAI con Foundry
• Implementación de modelos abiertos con Foundry
• Explorar modelos de fundición