Skip to main content
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Cree una base de conocimientos de GenAI

Colaboradores netapp-mwallis
PDF

Después de haber puesto en marcha la infraestructura de IA e identificado las fuentes de datos que integrará en su base de conocimientos de los almacenes de datos de FSx para ONTAP, estará listo para construir la base de conocimientos mediante la fábrica de cargas de trabajo. Como parte de este paso, también definirá las características de la IA y creará temas para iniciar una conversación.

Asegúrese de que su entorno cumpla con la "requisitos" para la base de conocimientos antes de continuar.

Acerca de esta tarea

Las bases de conocimiento tienen dos modalidades de integración de datos: Modo público y modo empresarial.

Modo público

Se puede utilizar una base de conocimientos sin integrar las fuentes de datos de su organización. En este caso, una aplicación integrada con la base de conocimientos solo proporcionará resultados de información disponible públicamente en Internet. Esto se conoce como integración modo público.

Modo empresarial

En la mayoría de los casos, querrá integrar las fuentes de datos de su organización en la base de conocimientos. Esto se conoce como una integración Enterprise mode porque proporciona conocimiento de su empresa.

Las fuentes de datos de su organización pueden contener Información de Identificación Personal (PII). Para proteger esta información confidencial, puede activar data guardrails al crear y configurar bases de conocimiento. Las barandas de datos, impulsadas por la clasificación BlueXP , identifican y enmascaran la PII, haciéndola inaccesible e irrecuperable.

"Más información sobre la clasificación de BlueXP".

Nota La fábrica de cargas de trabajo de BlueXP  para GenAI no enmascara la información personal confidencial (SPII). Consulte "tipos de datos personales confidenciales"para obtener más información sobre este tipo de datos.
Nota Las barreras de protección de datos se pueden activar o desactivar en cualquier momento. Si cambia la habilitación de barreras de datos, la fábrica de cargas de trabajo escanea toda la base de conocimientos desde cero, lo que supone un coste.

Crear y configurar la base de conocimientos

La base de conocimientos define características como los modelos de IA Bedrock y el formato de incrustación que desea utilizar para crear su base de conocimientos.

Pasos

  1. Inicie sesión en la fábrica de carga de trabajo mediante una de las opciones "experiencias de consola".

  2. En el icono Cargas de trabajo de IA, seleccione Implementar y gestionar.

  3. En la ficha Bases de conocimiento y conectores, seleccione el menú desplegable Crear nuevo y elija Base de conocimientos NetApp GenAI para Bedrock.

  4. En la página Definir base de conocimientos, configure los valores de la base de conocimientos:

    1. Nombre: Introduzca el nombre que desea utilizar para la base de conocimientos.

    2. Descripción: Introduzca una descripción detallada de la base de conocimientos.

    3. Modelo de incrustación: El modelo de incrustación define cómo se convertirán sus datos en incrustaciones vectoriales para la base de conocimientos. La fábrica de cargas de trabajo admite los siguientes modelos:

      • Titan Embeddings G1 - Texto

      • Titan Embedding Text v2

      • Titán incrustaciones multimodales G1

      • Insertar inglés

      • Incrustar multilingüe

        Tenga en cuenta que ya debe haber habilitado el modelo de incrustación de Amazon Bedrock.

      "Más información sobre Amazon Titan"

    4. Modelo de chat: Elija entre varios modelos de chat que están integrados en Amazon Bedrock. Tenga en cuenta que ya debe haber habilitado el modelo de chat de Amazon Bedrock.

    5. Reranking: Habilite o deshabilite el reranking, lo que puede mejorar la relevancia y la calidad de los resultados de la consulta. Elija un modelo de chat estándar o un modelo de reranker especializado para el reranking. Las opciones del modelo de reranker solo se muestran si están disponibles en su región.

    6. * Data guardrails*: Elija si desea habilitar o deshabilitar las barandas de datos. "Obtenga más información sobre las barreras de datos que cuentan con la tecnología de clasificación de BlueXP ".

      Se deben cumplir los siguientes requisitos previos para activar las barreras de datos.

      • Se necesita una cuenta de servicio para comunicarse con la clasificación BlueXP . Debe tener el rol Organization admin en su cuenta de arrendatario de BlueXP  para la creación de cuentas de servicio. Un miembro que tenga el rol de administrador de organización puede completar todas las acciones en BlueXP . "Aprenda a agregar un rol a un miembro en BlueXP "

      • El motor AI debe tener acceso a la "Extremo de la API de BlueXP ".

      • Tendrá que hacer lo siguiente como se describe en "Documentación de clasificación de BlueXP":

        1. Crea un conector BlueXP

        2. Asegúrese de que su entorno pueda cumplir con los requisitos previos

        3. Implementa la clasificación de BlueXP

    Nota La función de barandillas de datos no se admite al ingerir archivos de datos estructurados como CSV, JSON, JSONP o Parquet.

  5. * Iniciadores de conversación *: Elija si desea proporcionar hasta cuatro mensajes de inicio de conversación que se muestran a los usuarios que interactúan con un chatbot que utiliza esta base de conocimientos. Le recomendamos que active esta configuración.

    Si activa los arrancadores de conversación, se selecciona el modo automático de forma predeterminada. El modo manual solo se puede activar después de agregar fuentes de datos a su base de conocimientos. "Aprenda a modificar la configuración de la base de conocimientos".

  6. FSX para el sistema de archivos ONTAP: Cuando definas una nueva base de conocimientos, Workload Factory crea un nuevo volumen de Amazon FSx para NetApp ONTAP para almacenarlo. Seleccione un nombre del sistema de archivos y SVM (también llamado máquina virtual de almacenamiento) donde se creará el volumen nuevo.

  7. Política de instantáneas: Elija una política de instantáneas de la lista de políticas existentes definidas en el inventario de almacenamiento de la fábrica de carga de trabajo. Las instantáneas recurrentes de la base de conocimientos se crearán automáticamente con una frecuencia basada en la política de instantáneas que seleccione.

  8. S3 Bucket: si los resultados de la consulta del chatbot contienen datos estructurados, GenAI puede almacenar los resultados en un bucket S3. Para utilizar esta función, habilite la configuración Activar depósito S3 y elija un depósito S3 asociado con su cuenta de la lista. Cuando estos resultados se almacenan en un bucket S3, puedes descargarlos utilizando el enlace de descarga dentro de la sesión de chat.

    Si la política de Snapshot que necesita no existe, puede "crear una política de snapshot" hacerlo en la máquina virtual de almacenamiento que contiene el volumen.

  9. Seleccione Crear base de conocimiento para agregar la base de conocimiento a GenAI.

    Aparece un indicador de progreso mientras se crea la base de conocimientos.

    Después de crear la base de conocimientos, tiene la opción de agregar un origen de datos a la nueva base de conocimientos o de finalizar el proceso sin agregar un origen de datos. Le recomendamos que seleccione Añadir fuente de datos y agregue una o más fuentes de datos ahora.

Agregue orígenes de datos a la base de conocimientos

Puede agregar uno o más orígenes de datos para rellenar la base de conocimientos con los datos de la organización.

Acerca de esta tarea

El número máximo de orígenes de datos admitidos es 10.

Pasos

  1. Después de seleccionar Agregar fuente de datos, seleccione el tipo de fuente de datos que desea agregar:

    • Agregar el sistema de archivos FSx para ONTAP (usar archivos de un volumen FSx para ONTAP existente)

    • Agregar sistema de archivos (utilizar archivos de un recurso compartido SMB o NFS genérico)

Agregar un sistema de archivos FSx para ONTAP

  1. Seleccione un sistema de archivos: Seleccione el sistema de archivos FSX for ONTAP donde residen sus archivos de origen de datos y seleccione Siguiente.

  2. Selecciona un volumen: Selecciona el volumen en el que residen tus archivos de origen de datos y selecciona Siguiente.

    Al seleccionar los archivos almacenados mediante el protocolo SMB, deberá introducir la información de Active Directory, que incluye el dominio, la dirección IP, el nombre de usuario y la contraseña.

  3. Seleccione una fuente de datos: Seleccione la ubicación de la fuente de datos en función de dónde haya guardado los archivos. Esto puede ser un volumen completo, o simplemente una carpeta o subcarpeta específica en el volumen, y seleccione Siguiente.

  4. Configuraciones: Configure cómo la fuente de datos ingiere información de sus archivos y qué archivos incluye en los escaneos:

    • Definir fuente de datos: En la sección Estrategia de Chunking, defina cómo el motor GenAI divide el contenido de la fuente de datos en fragmentos cuando la fuente de datos se integra con una base de conocimientos. Puede elegir una de las siguientes estrategias:

      • * Fragmentación de varias frases*: Organiza la información de su fuente de datos en fragmentos definidos por frases. Puedes elegir cuántas oraciones componen cada fragmento (hasta 100).

      • * Fragmento basado en superposición *: Organiza la información de su fuente de datos en fragmentos definidos por caracteres que pueden superponerse a fragmentos vecinos. Puedes elegir el tamaño de cada fragmento en caracteres, y cuánto se superpone cada fragmento con fragmentos adyacentes. Puede configurar un tamaño de fragmento de entre 50 y 3000 caracteres, y un porcentaje de superposición de entre 1 y 99%.

        Nota La elección de un alto porcentaje de superposición puede aumentar en gran medida los requisitos de almacenamiento con solo pequeñas mejoras en la precisión de la recuperación.

    • Filtrado de archivos: Configure qué archivos se incluyen en los escaneos:

      • En la sección File Types support, elija incluir todos los tipos de archivos o seleccionar tipos de archivos individuales para incluirlos en los escaneos de fuentes de datos.

        Si incluye imágenes o archivos PDF, la fábrica de carga de trabajo de BlueXP  para GenAI analiza el texto en las imágenes (incluidas las imágenes en documentos PDF), lo que supone un coste mayor.

      Al incluir datos de texto de imágenes, GenAI no puede enmascarar la información de identificación personal (PII) de la imagen a medida que los datos de texto escaneados se envían desde su entorno a AWS. Sin embargo, una vez almacenados los datos, todos los PII se enmascaran en la base de datos de GenAI.

    Nota Su elección para incluir archivos de imagen en los escaneos está relacionada con el modelo de chat de la base de conocimientos. Si incluye archivos de imagen en los escaneos, el modelo de chat debe admitir imágenes. Si se seleccionan aquí tipos de archivo de imagen, no puede cambiar la base de conocimientos a un modelo de chat que no admita archivos de imagen.

    • En la sección Filtro de tiempo de modificación de archivo, elija habilitar o deshabilitar la inclusión de archivos en función de su tiempo de modificación. Si activa el filtrado de tiempo de modificación, seleccione un intervalo de fechas de la lista.

      Nota Si incluye archivos basados en un rango de fechas de modificación, en cuanto el rango de fechas no se cumpla (los archivos no se han modificado dentro del rango de fechas especificado), los archivos se excluirán de la exploración periódica y el origen de datos no incluirá estos archivos.

  5. En la sección Permission Aware, que solo está disponible cuando el origen de datos que seleccionó está en un volumen que utiliza el protocolo SMB, puede habilitar o deshabilitar las respuestas con permiso:

    • Activado: Los usuarios del chatbot que accedan a esta base de conocimientos solo obtendrán respuestas a las consultas de las fuentes de datos a las que tengan acceso.

    • Deshabilitado: Los usuarios del chatbot recibirán respuestas usando contenido de todas las fuentes de datos integradas.

  6. Seleccione Agregar para agregar esta fuente de datos a su base de conocimientos.

Agregar un sistema de archivos NFS genérico

  1. Seleccionar un sistema de archivos: Ingrese la dirección IP o FQDN para el host del sistema de archivos donde residen los archivos de origen de datos, elija el protocolo NFS para el recurso compartido de red y seleccione Siguiente.

  2. Seleccione una fuente de datos: Seleccione la ubicación de la fuente de datos en función de dónde haya guardado los archivos. Esto puede ser un volumen completo, o simplemente una carpeta o subcarpeta específica en el volumen, y seleccione Siguiente.

    Nota En algunos casos, podría ser necesario introducir manualmente el nombre de la exportación NFS y seleccionar Recuperar directorios para ver los directorios disponibles. Puede seleccionar la exportación completa o solo carpetas específicas.

  3. Configuraciones: Configure cómo la fuente de datos ingiere información de sus archivos y qué archivos incluye en los escaneos:

    • Definir fuente de datos: En la sección Estrategia de Chunking, defina cómo el motor GenAI divide el contenido de la fuente de datos en fragmentos cuando la fuente de datos se integra con una base de conocimientos. Puede elegir una de las siguientes estrategias:

      • * Fragmentación de varias frases*: Organiza la información de su fuente de datos en fragmentos definidos por frases. Puedes elegir cuántas oraciones componen cada fragmento (hasta 100).

      • * Fragmento basado en superposición *: Organiza la información de su fuente de datos en fragmentos definidos por caracteres que pueden superponerse a fragmentos vecinos. Puedes elegir el tamaño de cada fragmento en caracteres, y cuánto se superpone cada fragmento con fragmentos adyacentes. Puede configurar un tamaño de fragmento de entre 50 y 3000 caracteres, y un porcentaje de superposición de entre 1 y 99%.

        Nota La elección de un alto porcentaje de superposición puede aumentar en gran medida los requisitos de almacenamiento con solo pequeñas mejoras en la precisión de la recuperación.

    • Filtrado de archivos: Configure qué archivos se incluyen en los escaneos:

      • En la sección File Types support, elija incluir todos los tipos de archivos o seleccionar tipos de archivos individuales para incluirlos en los escaneos de fuentes de datos.

        Si incluye imágenes o archivos PDF, la fábrica de carga de trabajo de BlueXP  para GenAI analiza el texto en las imágenes (incluidas las imágenes en documentos PDF), lo que supone un coste mayor.

      Al incluir datos de texto de imágenes, GenAI no puede enmascarar la información de identificación personal (PII) de la imagen a medida que los datos de texto escaneados se envían desde su entorno a AWS. Sin embargo, una vez almacenados los datos, todos los PII se enmascaran en la base de datos de GenAI.

    Nota Su elección para incluir archivos de imagen en los escaneos está relacionada con el modelo de chat de la base de conocimientos. Si incluye archivos de imagen en los escaneos, el modelo de chat debe admitir imágenes. Si se seleccionan aquí tipos de archivo de imagen, no puede cambiar la base de conocimientos a un modelo de chat que no admita archivos de imagen.

    • En la sección Filtro de tiempo de modificación de archivo, elija habilitar o deshabilitar la inclusión de archivos en función de su tiempo de modificación. Si activa el filtrado de tiempo de modificación, seleccione un intervalo de fechas de la lista.

      Nota Si incluye archivos basados en un rango de fechas de modificación, en cuanto el rango de fechas no se cumpla (los archivos no se han modificado dentro del rango de fechas especificado), los archivos se excluirán de la exploración periódica y el origen de datos no incluirá estos archivos.

  4. Seleccione Agregar fuente de datos para agregar esta fuente de datos a su base de conocimientos.

Agregar un sistema de archivos SMB genérico

  1. Seleccionar sistema de archivos:

    1. Ingrese la dirección IP o FQDN del host del sistema de archivos donde residen los archivos de origen de datos.

    2. Seleccione el protocolo SMB para el recurso compartido de red.

    3. Ingrese la información de Active Directory, que incluye el dominio, la dirección IP, el nombre de usuario y la contraseña.

    4. Seleccione Siguiente.

  2. Seleccione una fuente de datos: Seleccione la ubicación de la fuente de datos en función de dónde haya guardado los archivos. Esto puede ser un volumen completo, o simplemente una carpeta o subcarpeta específica en el volumen, y seleccione Siguiente.

    Nota En algunos casos, podría ser necesario introducir manualmente el nombre del recurso compartido SMB y seleccionar Recuperar directorios para ver los directorios disponibles. Puede seleccionar todo el recurso compartido o solo algunas carpetas.

  3. Configuraciones: Configure cómo la fuente de datos ingiere información de sus archivos y qué archivos incluye en los escaneos:

    • Definir fuente de datos: En la sección Estrategia de Chunking, defina cómo el motor GenAI divide el contenido de la fuente de datos en fragmentos cuando la fuente de datos se integra con una base de conocimientos. Puede elegir una de las siguientes estrategias:

      • * Fragmentación de varias frases*: Organiza la información de su fuente de datos en fragmentos definidos por frases. Puedes elegir cuántas oraciones componen cada fragmento (hasta 100).

      • * Fragmento basado en superposición *: Organiza la información de su fuente de datos en fragmentos definidos por caracteres que pueden superponerse a fragmentos vecinos. Puedes elegir el tamaño de cada fragmento en caracteres, y cuánto se superpone cada fragmento con fragmentos adyacentes. Puede configurar un tamaño de fragmento de entre 50 y 3000 caracteres, y un porcentaje de superposición de entre 1 y 99%.

        Nota La elección de un alto porcentaje de superposición puede aumentar en gran medida los requisitos de almacenamiento con solo pequeñas mejoras en la precisión de la recuperación.

    • Consciente de permisos: habilitar o deshabilitar respuestas que tengan en cuenta los permisos:

      • Activado: Los usuarios del chatbot que accedan a esta base de conocimientos solo obtendrán respuestas a las consultas de las fuentes de datos a las que tengan acceso.

      • Deshabilitado: Los usuarios del chatbot recibirán respuestas usando contenido de todas las fuentes de datos integradas.

    • Filtrado de archivos: Configure qué archivos se incluyen en los escaneos:

      • En la sección File Types support, elija incluir todos los tipos de archivos o seleccionar tipos de archivos individuales para incluirlos en los escaneos de fuentes de datos.

        Si incluye imágenes o archivos PDF, la fábrica de carga de trabajo de BlueXP  para GenAI analiza el texto en las imágenes (incluidas las imágenes en documentos PDF), lo que supone un coste mayor.

      Al incluir datos de texto de imágenes, GenAI no puede enmascarar la información de identificación personal (PII) de la imagen a medida que los datos de texto escaneados se envían desde su entorno a AWS. Sin embargo, una vez almacenados los datos, todos los PII se enmascaran en la base de datos de GenAI.

    Nota Su elección para incluir archivos de imagen en los escaneos está relacionada con el modelo de chat de la base de conocimientos. Si incluye archivos de imagen en los escaneos, el modelo de chat debe admitir imágenes. Si se seleccionan aquí tipos de archivo de imagen, no puede cambiar la base de conocimientos a un modelo de chat que no admita archivos de imagen.

    • En la sección Filtro de tiempo de modificación de archivo, elija habilitar o deshabilitar la inclusión de archivos en función de su tiempo de modificación. Si activa el filtrado de tiempo de modificación, seleccione un intervalo de fechas de la lista.

      Nota Si incluye archivos basados en un rango de fechas de modificación, en cuanto el rango de fechas no se cumpla (los archivos no se han modificado dentro del rango de fechas especificado), los archivos se excluirán de la exploración periódica y el origen de datos no incluirá estos archivos.

  4. Seleccione Agregar fuente de datos para agregar esta fuente de datos a su base de conocimientos.

Resultado

El origen de datos comienza a integrarse en su base de conocimientos. El estado cambia de “Embedding” a “Embedded” cuando el origen de datos está completamente embebido.

Después de agregar una única fuente de datos a la base de conocimientos, puede probarla localmente en la ventana del simulador de chatbot y realizar los cambios necesarios antes de que el chatbot esté disponible para sus usuarios. También puede seguir los mismos pasos para agregar orígenes de datos adicionales a la base de conocimientos.