Cualquier cosa LLM

Anything LLM es la aplicación todo-en-uno de AI para Escritorio y Docker con capacidades completas de RAG y Agente AI. Puede configurar Anything LLM utilizando el nodo Gaia como backend LLM.

Se recomienda iniciar un nodo sin instantáneas, como éste.

Pasos

En primer lugar, tendremos que añadir Gaia Node como modelo de chat LLM y modelo de incrustación.

• Ir a Ajustes
• Elija Local AI como proveedor LLM en la sección de inferencia LLM. A continuación, copie y pegue la URL base API del nodo Gaia en la URL Base LocalAI. El modelo de chat y el modelo de incrustación junto con su nodo se cargarán automáticamente. Elija aquí el modelo de chat e introduzca la longitud del contexto. Recuerde hacer clic en Guardar cambios para que los cambios surtan efecto.

• A continuación, vaya a la sección de preferencias de incrustación y elija LocalAI como proveedor de incrustación. Luego copie y pegue la URL base API del nodo Gaia en la URL Base LocalAI. El modelo de chat y el modelo de incrustación junto con su nodo se cargarán automáticamente. Elija el modelo de incrustación aquí e introduzca la longitud máxima del trozo de incrustación. No olvide hacer clic en Guardar cambios para que los cambios surtan efecto.

Las operaciones anteriores hacen que el nodo Gaia sea el backend LLM.

En segundo lugar, vamos a configurar la fuente de datos. Puedes subir un archivo o utilizar los conectores de datos proporcionados por Anything LLM.

Cuando mueva una fuente de datos al espacio de trabajo, Anything LLM llamará a la API de incrustación del nodo Gaia para trocear y calcular las incrustaciones de su documentación, lo que puede llevar algunos minutos.

Ya está. Cuando la incrustación haya terminado, vuelve a tu espacio de trabajo y haz una pregunta.

Puede consultar la inicio-llamaedge.log para comprobar lo que ocurre.