Integración de Open WebUI con Foundry Local

En este tutorial se muestra cómo crear una aplicación de chat mediante Foundry Local y Open WebUI. Cuando termine, tendrá una interfaz de chat en funcionamiento que se ejecuta completamente en el dispositivo local.

Prerrequisitos

Antes de comenzar este tutorial, necesita lo siguiente:

• Foundry Local instalado en el equipo. Lea la guía Introducción a Foundry Local para obtener instrucciones de instalación.

Configuración de Open WebUI para chat

1. Instale Open WebUI siguiendo las instrucciones del repositorio open WebUI de GitHub.

2. Inicie Open WebUI con este comando en el terminal:

   open-webui serve
   

3. Abra su navegador web y vaya a http://localhost:8080.

4. Habilitar conexiones directas:

   1. Seleccione Configuración y Configuración de administrador en el menú del perfil.
   2. Seleccione Conexiones en el menú de navegación.
   3. Habilite Conexiones directas activando el interruptor. Esto permite a los usuarios conectarse a sus propios puntos de conexión de API compatibles con OpenAI.

5. Conexión de Open WebUI a Foundry Local:

   1. Seleccione Configuración en el menú del perfil.
   2. Seleccione Conexiones en el menú de navegación.
   3. Seleccione + mediante Administrar conexiones directas.
   4. En la dirección URL, escriba http://localhost:PORT/v1 donde PORT es el puerto de punto de conexión local de Foundry (use el comando foundry service status de la CLI para encontrarlo). Tenga en cuenta que Foundry Local asigna dinámicamente un puerto, por lo que no siempre es lo mismo.
   5. En Autenticación, seleccione Ninguno.
   6. Seleccione Guardar.

6. Comience a chatear con el modelo:

   1. Los modelos cargados aparecen en la lista desplegable de la parte superior
   2. Selección de cualquier modelo de la lista
   3. Escriba el mensaje en el cuadro de entrada en la parte inferior.

Eso es todo. Ahora chatea con un modelo de INTELIGENCIA ARTIFICIAL que se ejecuta completamente en el dispositivo local.

Pasos siguientes

• Uso de finalizaciones de chat a través del servidor REST con Foundry Local
• Compilar modelos de Hugging Face para ejecutar en Foundry Local