Construir una base de conocimientos con la herramienta web Gaia

Gaia ha desarrollado una herramienta para crear archivos de instantáneas de colecciones de vectores, de modo que todo el mundo pueda crear fácilmente su propia base de conocimientos.

Acceda aquí: https://tools.gaianet.xyz/

Segmente su archivo de texto

Primero, copia el texto sin formato en un archivo txt. A continuación, sigue las dos reglas para fragmentar el contenido, es decir, agrupar contenidos similares.

• Cada título y contenido relacionado son un chunk. No hay líneas en blanco en un chunk.
• Utiliza una línea en blanco para reconocer los distintos trozos.

Después, guárdalo como archivo txt.

Por ejemplo, a continuación figura su fuente.

Una vez formateado, tendrá el siguiente aspecto.

¿Qué es una cadena de bloques?
Una cadena de bloques es una estructura de base de datos distribuida y criptográficamente segura que permite a los participantes de la red establecer un registro fiable e inmutable de datos transaccionales sin necesidad de intermediarios. Una cadena de bloques puede ejecutar una variedad de funciones más allá de la liquidación de transacciones, como los contratos inteligentes. Los contratos inteligentes son acuerdos digitales incrustados en código que pueden tener formatos y condiciones ilimitados. Las cadenas de bloques han demostrado ser soluciones superiores para coordinar datos de forma segura, pero son capaces de mucho más, como la tokenización, el diseño de incentivos, la resistencia a los ataques y la reducción del riesgo de contraparte. La primera cadena de bloques fue Bitcoin, que fue la culminación de más de un siglo de avances en criptografía y tecnología de bases de datos.

¿Qué es el software blockchain?
El software blockchain es como cualquier otro software. El primero de su clase fue Bitcoin, que se publicó como software de código abierto, por lo que cualquiera podía utilizarlo o modificarlo. Existe una amplia variedad de esfuerzos en el ecosistema blockchain para mejorar el software original de Bitcoin. Ethereum tiene su propio software blockchain de código abierto. Algunos programas de cadena de bloques están patentados y no están a disposición del público.

Generar el archivo de instantáneas

1. Visite esta URL: https://tools.gaianet.xyz/, cargue el archivo txt preparado anteriormente.
2. Edita tu dbname . Nota: No incluya espacios ni caracteres especiales en dbname.
3. Elija el modelo de incrustación, le sugerimos que utilice nomic-embed-text-v1.5.f16.
4. Pulsa el botón "Hacer RAG" y espera.

Cuando termine, el chatbot mostrará la información de configuración del Nodo Gaia. Es un formato JSON como sigue.

{
  "embedding": "https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf",
  "embedding_ctx_size": 768,
  "snapshot": "https://huggingface.co/datasets/max-id/gaianet-qdrant-snapshot/resolve/main/test/test.snapshot"
}

Actualizar la configuración del nodo

Ejecute lo siguiente

gaianet config
  --snapshot https://huggingface.co/datasets/max-id/gaianet-qdrant-snapshot/resolve/main/test/test.snapshot
  --embedding-url https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf \
  --embedding-ctx-size 768

y luego

gaianet init
inicio de gaianet

¡Que te diviertas!