Cualquier cosa LLM

Anything LLM es la aplicación todo-en-uno de escritorio y Docker AI con capacidades completas de RAG y AI Agent. Puede configurar Anything LLM utilizando el nodo GaiaNet como backend LLM.

Se recomienda iniciar un nodo sin instantáneas, como éste.

Pasos

En primer lugar, tendremos que añadir GaiaNet Node como modelo de chat LLM y modelo de incrustación.

• Ir a Ajustes
• Elija Local AI como proveedor LLM en la sección de inferencia LLM. A continuación, copie y pegue la URL base API del nodo GaiaNet en la URL Base LocalAI. El modelo de chat y el modelo de incrustación junto con su nodo se cargarán automáticamente. Elija aquí el modelo de chat e introduzca la longitud del contexto. Recuerde hacer clic en Guardar cambios para que los cambios surtan efecto.

• A continuación, vaya a la sección de preferencias de incrustación y elija LocalAI como proveedor de incrustación. Luego copie y pegue la URL base API del nodo GaiaNet en la URL Base LocalAI. El modelo de chat y el modelo de incrustación junto con su nodo serán cargados automáticamente. Elija el modelo de incrustación aquí e introduzca la longitud máxima del trozo de incrustación. No olvide hacer clic en Guardar cambios para que los cambios surtan efecto.

Las operaciones anteriores convierten al nodo GaiaNet en el backend LLM.

En segundo lugar, vamos a configurar la fuente de datos. Puedes subir un archivo o utilizar los conectores de datos proporcionados por Anything LLM.

Cuando mueva una fuente de datos al espacio de trabajo, Anything LLM llamará a la API de incrustación del nodo GaiaNet para trocear y calcular las incrustaciones de su documentación, lo que puede llevar algunos minutos.

Ya está. Cuando la incrustación haya terminado, vuelve a tu espacio de trabajo y haz una pregunta.

Puede consultar la inicio-llamaedge.log para comprobar lo que ocurre.