Abrir WebUI
Puedes configurar el framework Open WebUI, una WebUI auto-alojada, usando cualquier nodo Gaia como API LLM backend. Eso le permite utilizar sus propios nodos Gaia o los de la comunidad en cualquier aplicación construida sobre Open WebUI.
Requisitos previos
Necesitará un nodo Gaia preparado para proporcionar servicios LLM a través de una URL pública. Puede
En este tutorial, utilizaremos nodos públicos para alimentar el plugin Continue.
| Tipo de modelo | URL base de la API | Nombre del modelo |
|---|---|---|
| Chat | https://llama8b.gaia.domains/v1 | llama |
| Inserción | https://llama8b.gaia.domains/v1 | nomic |
Inicie Open WebUI en su máquina
Después de iniciar con éxito el nodo Gaia, puede utilizar docker run para iniciar Open WebUI.
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
-e OPENAI_API_BASE_URL="https://llama8b.gaia.domains/v1" \ -e OPENAI_API_KEYS="gaianet" \
-e OPENAI_API_KEYS="gaianet" \
--name open-webui
--restart always
ghcr.io/open-webui/open-webui:main
A continuación, abra http://localhost:3000 en tu navegador y verás la página Abrir WebUI.
También puedes configurar tu propio nodo cuando se inicia la webUI.
- Haz clic en tu perfil en la esquina superior derecha y elige Configuración.
- A continuación, seleccione Conexiones. En el campo API de OpenAI, escribe la URL base de tu nodo e introduce varios caracteres aleatorios.
- Haga clic en Guardar para que el cambio surta efecto.
Utilizar Open WebUI como interfaz de chatbot
Sólo tienes que elegir el modelo de chat en Seleccionar un modelo y podrás enviar mensajes al nodo Gaia.
Utilizar Open WebUI como herramienta RAG del lado del cliente
Open WebUI también ofrece una manera de implementar la aplicación RAG. Dado que los nodos Gaia tienen APIs de incrustación compatibles con OpenAI, también puede utilizar esta función. Sin embargo, para utilizar esta función, se recomienda iniciar un nodo sin instantáneas, como este.
Paso 1: Utilizar el nodo Gaia como API de incrustación
- Haga clic en Espacio de trabajo en la parte superior izquierda y elija la pestaña Documentos. Aquí es donde se gestionan los documentos cargados.
- Haga clic en Configuración del documento para configurar los ajustes de incrustación.
- En los Ajustes Generales, elija OpenAI como Motor de Modelo de Incrustación. Introduzca la URL base de la API del nodo y varios caracteres aleatorios. A continuación, introduzca el nombre del modelo de incrustación en el campo Modelo de incrustación. Haga clic en Guardar para aplicar los cambios.
Paso 2: Utilizar el nodo Gaia como API de incrustación
Haga clic en + para cargar su documentación.
Paso 3: Chat
A continuación, vuelve a la página de chat. Antes de enviar un mensaje, escribe # para elegir el documento que quieres como contexto.
Ya está.