Skip to main content
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Cree una base de conocimientos de GenAI

Colaboradores netapp-mwallis
PDF

Una vez que haya implementado la infraestructura de IA e identificado las fuentes de datos que integrará en su base de conocimiento desde sus almacenes de datos de FSx para ONTAP , estará listo para crear la base de conocimiento utilizando Workload Factory. Como parte de este paso, también definirás las características de la IA y crearás iniciadores de conversación.

Asegúrese de que su entorno cumpla con la "requisitos" para la base de conocimientos antes de continuar.

Acerca de esta tarea

Las bases de conocimiento tienen dos modalidades de integración de datos: Modo público y modo empresarial.

Modo público

Se puede utilizar una base de conocimientos sin integrar las fuentes de datos de su organización. En este caso, una aplicación integrada con la base de conocimientos solo proporcionará resultados de información disponible públicamente en Internet. Esto se conoce como integración modo público.

Modo empresarial

En la mayoría de los casos, querrá integrar las fuentes de datos de su organización en la base de conocimientos. Esto se conoce como una integración Enterprise mode porque proporciona conocimiento de su empresa.

Las fuentes de datos de su organización pueden contener información de identificación personal (PII). Para proteger esta información confidencial, puede habilitar barandillas de datos al crear y configurar bases de conocimiento. Las barreras de protección de datos, impulsadas por NetApp Data Classification, identifican y enmascaran la información PII, haciéndola inaccesible e irrecuperable.

"Obtenga más información sobre la clasificación de datos de NetApp" .

Nota NetApp Workload Factory para GenAI no enmascara información personal confidencial (SPii). Referirse a"tipos de datos personales confidenciales" para obtener más información sobre este tipo de datos.
Nota Las barandillas de datos se pueden habilitar o deshabilitar en cualquier momento. Si cambia la habilitación de las barandillas de datos, Workload Factory escanea toda la base de conocimientos desde cero, lo que genera un costo.

Crear y configurar la base de conocimientos

La base de conocimientos define características como los modelos de IA Bedrock y el formato de incrustación que desea utilizar para crear su base de conocimientos.

Pasos

  1. Inicie sesión en Workload Factory utilizando uno de los"experiencias de consola" .

  2. En el icono Cargas de trabajo de IA, seleccione Implementar y gestionar.

  3. En el menú Bases de conocimiento y conectores, seleccione el menú desplegable Crear nuevo y elija Base de conocimiento NetApp GenAI para Bedrock.

  4. En la página Crear base de conocimientos de NetApp GenAI, configure los ajustes de la base de conocimientos:

Detalles de la base de conocimientos

  1. Nombre: Introduzca el nombre que desea utilizar para la base de conocimientos.

  2. Descripción: Introduzca una descripción detallada de la base de conocimientos.

  3. Bedrock: elija la región donde Amazon Bedrock está disponible para su cuenta de AWS.

Ingestión

  1. Modelo de incrustación:

    • Elija un modelo de inserción para utilizar en la base de conocimientos. El modelo de incrustación define cómo se convertirán sus datos en incrustaciones vectoriales para la base de conocimiento. Workload Factory admite los siguientes modelos:

    • Titan Embeddings G1 - Texto

    • Titan Embedding Text v2

    • Titán incrustaciones multimodales G1

    • Insertar inglés

    • Incrustar multilingüe

      Tenga en cuenta que ya debe haber habilitado el modelo de incrustación de Amazon Bedrock.

    "Más información sobre Amazon Titan"

    • Si corresponde, seleccione el tipo de inferencia que coincida con la configuración del modelo de inserción seleccionado.

  2. Barreras de protección de datos: elija si desea habilitar o deshabilitar las barreras de protección de datos. "Obtenga información sobre las barreras de seguridad de datos, impulsadas por la clasificación de datos de NetApp" .

    Se deben cumplir los siguientes requisitos previos para activar las barreras de datos.

    Nota La función de barandillas de datos no se admite al ingerir archivos de datos estructurados como CSV, JSON, JSONP o Parquet.
Configuración de chat y recuperación

  1. Modelo de chat:

    • Elija entre varios modelos de chat que están integrados en Amazon Bedrock. Tenga en cuenta que ya debe haber habilitado el modelo de chat desde Amazon Bedrock.

    • Si corresponde, seleccione el tipo de inferencia que coincida con la configuración del modelo seleccionado.

  2. Configuración del chat:

    • Elige una temperatura para el chatbot para configurar la aleatoriedad y creatividad de las respuestas. Una temperatura más baja produce respuestas más predecibles, y una temperatura más alta produce respuestas más variadas.

    • Elija una longitud máxima de respuesta para configurar qué tan detalladas serán las respuestas. Las longitudes de respuesta más largas utilizan más tokens de respuesta y pueden generar un costo mayor.

  3. Modo de pensamiento: cuando el modo de pensamiento está habilitado, el chatbot tardará más tiempo en procesar las consultas y los resultados generalmente serán más precisos. Cuando habilita el modo de pensamiento, puede controlar cuántos tokens de razonamiento se utilizan al generar resultados. El uso de más tokens de razonamiento puede generar respuestas más precisas, pero podría implicar un mayor costo.

  4. Reranking: habilite o deshabilite el reranking, lo que puede mejorar la relevancia y la calidad de los resultados de la consulta. Elija un modelo de chat estándar o un modelo de reranking especializado para utilizar en el reranking. Las opciones del modelo de reranker solo se muestran si están disponibles en su región. Seleccione el tipo de inferencia que coincida con la configuración del modelo seleccionado.

  5. * Iniciadores de conversación *: Elija si desea proporcionar hasta cuatro mensajes de inicio de conversación que se muestran a los usuarios que interactúan con un chatbot que utiliza esta base de conocimientos. Le recomendamos que active esta configuración.

    Si activa los arrancadores de conversación, se selecciona el modo automático de forma predeterminada. El modo manual solo se puede activar después de agregar fuentes de datos a su base de conocimientos. "Aprenda a modificar la configuración de la base de conocimientos".

Definiciones de almacenamiento

  1. *Sistema de archivos FSx para ONTAP *: cuando se define una nueva base de conocimiento, Workload Factory crea un nuevo volumen de Amazon FSx for NetApp ONTAP para almacenarla. Elija un nombre de sistema de archivos existente y una SVM (también llamada VM de almacenamiento) donde se creará el nuevo volumen.

  2. Política de instantáneas: elija una política de instantáneas de la lista de políticas existentes definidas en el inventario de almacenamiento de Workload Factory. Se crearán automáticamente instantáneas recurrentes de la base de conocimientos con una frecuencia basada en la política de instantáneas que seleccione.

  3. S3 Bucket: si los resultados de la consulta del chatbot contienen datos estructurados, GenAI puede almacenar los resultados en un bucket S3. Para utilizar esta función, habilite la configuración Activar depósito S3 y elija un depósito S3 asociado con su cuenta de la lista. Cuando estos resultados se almacenan en un bucket S3, puedes descargarlos utilizando el enlace de descarga dentro de la sesión de chat.

    Si la política de Snapshot que necesita no existe, puede "crear una política de snapshot" hacerlo en la máquina virtual de almacenamiento que contiene el volumen.

  4. Seleccione Crear base de conocimiento para agregar la base de conocimiento a GenAI.

    Aparece un indicador de progreso mientras se crea la base de conocimientos.

    Después de crear la base de conocimientos, tiene la opción de agregar un origen de datos a la nueva base de conocimientos o de finalizar el proceso sin agregar un origen de datos. Le recomendamos que seleccione Añadir fuente de datos y agregue una o más fuentes de datos ahora.

Agregue orígenes de datos a la base de conocimientos

Puede agregar uno o más orígenes de datos para rellenar la base de conocimientos con los datos de la organización.

Acerca de esta tarea

El número máximo de orígenes de datos admitidos es 10.

Pasos

  1. Después de seleccionar Agregar fuente de datos, seleccione el tipo de fuente de datos que desea agregar:

    • Agregar el sistema de archivos FSx para ONTAP (usar archivos de un volumen FSx para ONTAP existente)

    • Agregar sistema de archivos (utilizar archivos de un recurso compartido SMB o NFS genérico)

Agregar un sistema de archivos FSx para ONTAP

  1. Seleccione un sistema de archivos: Seleccione el sistema de archivos FSX for ONTAP donde residen sus archivos de origen de datos y seleccione Siguiente.

  2. Selecciona un volumen: Selecciona el volumen en el que residen tus archivos de origen de datos y selecciona Siguiente.

    Al seleccionar los archivos almacenados mediante el protocolo SMB, deberá introducir la información de Active Directory, que incluye el dominio, la dirección IP, el nombre de usuario y la contraseña.

  3. Seleccione una fuente de datos: Seleccione la ubicación de la fuente de datos en función de dónde haya guardado los archivos. Esto puede ser un volumen completo, o simplemente una carpeta o subcarpeta específica en el volumen, y seleccione Siguiente.

  4. Configuraciones: Configure cómo la fuente de datos ingiere información de sus archivos y qué archivos incluye en los escaneos:

    • Definir fuente de datos: En la sección Estrategia de Chunking, defina cómo el motor GenAI divide el contenido de la fuente de datos en fragmentos cuando la fuente de datos se integra con una base de conocimientos. Puede elegir una de las siguientes estrategias:

      • * Fragmentación de varias frases*: Organiza la información de su fuente de datos en fragmentos definidos por frases. Puedes elegir cuántas oraciones componen cada fragmento (hasta 100).

      • * Fragmento basado en superposición *: Organiza la información de su fuente de datos en fragmentos definidos por caracteres que pueden superponerse a fragmentos vecinos. Puedes elegir el tamaño de cada fragmento en caracteres, y cuánto se superpone cada fragmento con fragmentos adyacentes. Puede configurar un tamaño de fragmento de entre 50 y 3000 caracteres, y un porcentaje de superposición de entre 1 y 99%.

        Nota La elección de un alto porcentaje de superposición puede aumentar en gran medida los requisitos de almacenamiento con solo pequeñas mejoras en la precisión de la recuperación.

    • Filtrado de archivos: Configure qué archivos se incluyen en los escaneos:

      • En la sección File Types support, elija incluir todos los tipos de archivos o seleccionar tipos de archivos individuales para incluirlos en los escaneos de fuentes de datos.

        Si incluye imágenes o archivos PDF, NetApp Workload Factory for GenAI analiza el texto de las imágenes (incluidas las imágenes en documentos PDF), y esto implica un costo mayor.

      Al incluir datos de texto de imágenes, GenAI no puede enmascarar la información de identificación personal (PII) de la imagen a medida que los datos de texto escaneados se envían desde su entorno a AWS. Sin embargo, una vez almacenados los datos, todos los PII se enmascaran en la base de datos de GenAI.

    Nota Su elección para incluir archivos de imagen en los escaneos está relacionada con el modelo de chat de la base de conocimientos. Si incluye archivos de imagen en los escaneos, el modelo de chat debe admitir imágenes. Si se seleccionan aquí tipos de archivo de imagen, no puede cambiar la base de conocimientos a un modelo de chat que no admita archivos de imagen.

    • En la sección Filtro de tiempo de modificación de archivo, elija habilitar o deshabilitar la inclusión de archivos en función de su tiempo de modificación. Si activa el filtrado de tiempo de modificación, seleccione un intervalo de fechas de la lista.

      Nota Si incluye archivos basados en un rango de fechas de modificación, en cuanto el rango de fechas no se cumpla (los archivos no se han modificado dentro del rango de fechas especificado), los archivos se excluirán de la exploración periódica y el origen de datos no incluirá estos archivos.

  5. En la sección Permission Aware, que solo está disponible cuando el origen de datos que seleccionó está en un volumen que utiliza el protocolo SMB, puede habilitar o deshabilitar las respuestas con permiso:

    • Activado: Los usuarios del chatbot que accedan a esta base de conocimientos solo obtendrán respuestas a las consultas de las fuentes de datos a las que tengan acceso.

    • Deshabilitado: Los usuarios del chatbot recibirán respuestas usando contenido de todas las fuentes de datos integradas.

  6. Seleccione Agregar para agregar esta fuente de datos a su base de conocimientos.

Agregar un sistema de archivos NFS genérico

  1. Seleccionar un sistema de archivos: Ingrese la dirección IP o FQDN para el host del sistema de archivos donde residen los archivos de origen de datos, elija el protocolo NFS para el recurso compartido de red y seleccione Siguiente.

  2. Seleccione una fuente de datos: Seleccione la ubicación de la fuente de datos en función de dónde haya guardado los archivos. Esto puede ser un volumen completo, o simplemente una carpeta o subcarpeta específica en el volumen, y seleccione Siguiente.

    Nota En algunos casos, podría ser necesario introducir manualmente el nombre de la exportación NFS y seleccionar Recuperar directorios para ver los directorios disponibles. Puede seleccionar la exportación completa o solo carpetas específicas.

  3. Configuraciones: Configure cómo la fuente de datos ingiere información de sus archivos y qué archivos incluye en los escaneos:

    • Definir fuente de datos: En la sección Estrategia de Chunking, defina cómo el motor GenAI divide el contenido de la fuente de datos en fragmentos cuando la fuente de datos se integra con una base de conocimientos. Puede elegir una de las siguientes estrategias:

      • * Fragmentación de varias frases*: Organiza la información de su fuente de datos en fragmentos definidos por frases. Puedes elegir cuántas oraciones componen cada fragmento (hasta 100).

      • * Fragmento basado en superposición *: Organiza la información de su fuente de datos en fragmentos definidos por caracteres que pueden superponerse a fragmentos vecinos. Puedes elegir el tamaño de cada fragmento en caracteres, y cuánto se superpone cada fragmento con fragmentos adyacentes. Puede configurar un tamaño de fragmento de entre 50 y 3000 caracteres, y un porcentaje de superposición de entre 1 y 99%.

        Nota La elección de un alto porcentaje de superposición puede aumentar en gran medida los requisitos de almacenamiento con solo pequeñas mejoras en la precisión de la recuperación.

    • Filtrado de archivos: Configure qué archivos se incluyen en los escaneos:

      • En la sección File Types support, elija incluir todos los tipos de archivos o seleccionar tipos de archivos individuales para incluirlos en los escaneos de fuentes de datos.

        Si incluye imágenes o archivos PDF, NetApp Workload Factory for GenAI analiza el texto de las imágenes (incluidas las imágenes en documentos PDF), y esto implica un costo mayor.

      Al incluir datos de texto de imágenes, GenAI no puede enmascarar la información de identificación personal (PII) de la imagen a medida que los datos de texto escaneados se envían desde su entorno a AWS. Sin embargo, una vez almacenados los datos, todos los PII se enmascaran en la base de datos de GenAI.

    Nota Su elección para incluir archivos de imagen en los escaneos está relacionada con el modelo de chat de la base de conocimientos. Si incluye archivos de imagen en los escaneos, el modelo de chat debe admitir imágenes. Si se seleccionan aquí tipos de archivo de imagen, no puede cambiar la base de conocimientos a un modelo de chat que no admita archivos de imagen.

    • En la sección Filtro de tiempo de modificación de archivo, elija habilitar o deshabilitar la inclusión de archivos en función de su tiempo de modificación. Si activa el filtrado de tiempo de modificación, seleccione un intervalo de fechas de la lista.

      Nota Si incluye archivos basados en un rango de fechas de modificación, en cuanto el rango de fechas no se cumpla (los archivos no se han modificado dentro del rango de fechas especificado), los archivos se excluirán de la exploración periódica y el origen de datos no incluirá estos archivos.

  4. Seleccione Agregar fuente de datos para agregar esta fuente de datos a su base de conocimientos.

Agregar un sistema de archivos SMB genérico

  1. Seleccionar sistema de archivos:

    1. Ingrese la dirección IP o FQDN del host del sistema de archivos donde residen los archivos de origen de datos.

    2. Seleccione el protocolo SMB para el recurso compartido de red.

    3. Ingrese la información de Active Directory, que incluye el dominio, la dirección IP, el nombre de usuario y la contraseña.

    4. Seleccione Siguiente.

  2. Seleccione una fuente de datos: Seleccione la ubicación de la fuente de datos en función de dónde haya guardado los archivos. Esto puede ser un volumen completo, o simplemente una carpeta o subcarpeta específica en el volumen, y seleccione Siguiente.

    Nota En algunos casos, podría ser necesario introducir manualmente el nombre del recurso compartido SMB y seleccionar Recuperar directorios para ver los directorios disponibles. Puede seleccionar todo el recurso compartido o solo algunas carpetas.

  3. Configuraciones: Configure cómo la fuente de datos ingiere información de sus archivos y qué archivos incluye en los escaneos:

    • Definir fuente de datos: En la sección Estrategia de Chunking, defina cómo el motor GenAI divide el contenido de la fuente de datos en fragmentos cuando la fuente de datos se integra con una base de conocimientos. Puede elegir una de las siguientes estrategias:

      • * Fragmentación de varias frases*: Organiza la información de su fuente de datos en fragmentos definidos por frases. Puedes elegir cuántas oraciones componen cada fragmento (hasta 100).

      • * Fragmento basado en superposición *: Organiza la información de su fuente de datos en fragmentos definidos por caracteres que pueden superponerse a fragmentos vecinos. Puedes elegir el tamaño de cada fragmento en caracteres, y cuánto se superpone cada fragmento con fragmentos adyacentes. Puede configurar un tamaño de fragmento de entre 50 y 3000 caracteres, y un porcentaje de superposición de entre 1 y 99%.

        Nota La elección de un alto porcentaje de superposición puede aumentar en gran medida los requisitos de almacenamiento con solo pequeñas mejoras en la precisión de la recuperación.

    • Consciente de permisos: habilitar o deshabilitar respuestas que tengan en cuenta los permisos:

      • Activado: Los usuarios del chatbot que accedan a esta base de conocimientos solo obtendrán respuestas a las consultas de las fuentes de datos a las que tengan acceso.

      • Deshabilitado: Los usuarios del chatbot recibirán respuestas usando contenido de todas las fuentes de datos integradas.

    • Filtrado de archivos: Configure qué archivos se incluyen en los escaneos:

      • En la sección File Types support, elija incluir todos los tipos de archivos o seleccionar tipos de archivos individuales para incluirlos en los escaneos de fuentes de datos.

        Si incluye imágenes o archivos PDF, NetApp Workload Factory for GenAI analiza el texto de las imágenes (incluidas las imágenes en documentos PDF), y esto implica un costo mayor.

      Al incluir datos de texto de imágenes, GenAI no puede enmascarar la información de identificación personal (PII) de la imagen a medida que los datos de texto escaneados se envían desde su entorno a AWS. Sin embargo, una vez almacenados los datos, todos los PII se enmascaran en la base de datos de GenAI.

    Nota Su elección para incluir archivos de imagen en los escaneos está relacionada con el modelo de chat de la base de conocimientos. Si incluye archivos de imagen en los escaneos, el modelo de chat debe admitir imágenes. Si se seleccionan aquí tipos de archivo de imagen, no puede cambiar la base de conocimientos a un modelo de chat que no admita archivos de imagen.

    • En la sección Filtro de tiempo de modificación de archivo, elija habilitar o deshabilitar la inclusión de archivos en función de su tiempo de modificación. Si activa el filtrado de tiempo de modificación, seleccione un intervalo de fechas de la lista.

      Nota Si incluye archivos basados en un rango de fechas de modificación, en cuanto el rango de fechas no se cumpla (los archivos no se han modificado dentro del rango de fechas especificado), los archivos se excluirán de la exploración periódica y el origen de datos no incluirá estos archivos.

  4. Seleccione Agregar fuente de datos para agregar esta fuente de datos a su base de conocimientos.

Resultado

El origen de datos comienza a integrarse en su base de conocimientos. El estado cambia de “Embedding” a “Embedded” cuando el origen de datos está completamente embebido.

Después de agregar una única fuente de datos a la base de conocimientos, puede probarla localmente en la ventana del simulador de chatbot y realizar los cambios necesarios antes de que el chatbot esté disponible para sus usuarios. También puede seguir los mismos pasos para agregar orígenes de datos adicionales a la base de conocimientos.