Skip to main content
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Créer une base de connaissances GenAI

Contributeurs netapp-mwallis
PDF

Après avoir déployé l'infrastructure d'IA et identifié les sources de données que vous intégrerez dans votre base de connaissances à partir de vos magasins de données FSx for ONTAP , vous êtes prêt à créer la base de connaissances à l'aide de Workload Factory. Dans le cadre de cette étape, vous définirez également les caractéristiques de l’IA et créerez des déclencheurs de conversation.

Avant de continuer, assurez-vous que votre environnement est conforme aux "de formation"bases de connaissances for.

Description de la tâche

Les bases de connaissances ont deux modalités d'intégration de données : mode public et mode entreprise.

Mode public

Une base de connaissances peut être utilisée sans intégrer les sources de données de votre organisation. Dans ce cas, une application intégrée à la base de connaissances ne fournira que des résultats provenant d'informations accessibles au public sur Internet. Il s'agit d'une intégration de mode public.

Mode entreprise

Dans la plupart des cas, vous voudrez intégrer les sources de données de votre organisation dans la base de connaissances. Il s'agit d'une intégration Enterprise mode car elle fournit des connaissances de votre entreprise.

Les sources de données de votre organisation peuvent contenir des informations personnelles identifiables (PII). Pour protéger ces informations sensibles, vous pouvez activer les garde-fous de données lors de la création et de la configuration des bases de connaissances. Les garde-fous de données, optimisés par NetApp Data Classification, identifient et masquent les informations personnelles identifiables, les rendant inaccessibles et irrécupérables.

"En savoir plus sur la classification des données NetApp" .

Remarque NetApp Workload Factory pour GenAI ne masque pas les informations personnelles sensibles (SPii). Se référer à"types de données personnelles sensibles" pour plus d'informations sur ce type de données.
Remarque Les garde-fous de données peuvent être activés ou désactivés à tout moment. Si vous activez les garde-fous de données, Workload Factory analyse l'intégralité de la base de connaissances à partir de zéro, ce qui entraîne un coût.

Créer et configurer la base de connaissances

La base de connaissances définit des caractéristiques telles que les modèles d'IA de Bedrock et le format d'intégration que vous souhaitez utiliser pour créer votre base de connaissances.

Étapes

  1. Connectez-vous à Workload Factory en utilisant l'un des"expériences de la console" .

  2. Dans la mosaïque workloads d'IA, sélectionnez déployer et gérer.

  3. Dans le menu Bases de connaissances et connecteurs, sélectionnez la liste déroulante Créer un nouveau et choisissez Base de connaissances NetApp GenAI pour Bedrock.

  4. Sur la page Créer une base de connaissances NetApp GenAI, configurez les paramètres de la base de connaissances :

Détails de la base de connaissances

  1. Nom : saisissez le nom que vous souhaitez utiliser pour la base de connaissances.

  2. Description : saisissez une description détaillée de la base de connaissances.

  3. Bedrock : choisissez la région dans laquelle Amazon Bedrock est disponible pour votre compte AWS.

Ingestion

  1. Modèle d'intégration:

    • Choisissez un modèle d’intégration à utiliser pour la base de connaissances. Le modèle d'intégration définit comment vos données seront converties en intégrations vectorielles pour la base de connaissances. Workload Factory prend en charge les modèles suivants :

    • Codes Titan G1 - texte

    • Texte d'intégration Titan v2

    • Embedding multimodal G1 Titan

    • Intégrer l'anglais

    • Intégrer multilingue

      Notez que vous devez avoir déjà activé le modèle d'incorporation à partir d'Amazon Bedrock.

    "En savoir plus sur Amazon Titan"

    • Le cas échéant, sélectionnez le type d’inférence qui correspond à la configuration du modèle d’intégration sélectionné.

  2. Protections de données : Choisissez si vous souhaitez activer ou désactiver les protections de données. "Découvrez les garde-fous de données, optimisés par la classification des données NetApp" .

    Les conditions préalables suivantes doivent être remplies pour activer les rails de données.

    Remarque La fonction Data guardrails n'est pas prise en charge lors de l'acquisition de fichiers de données structurés tels que CSV, JSON, JSONP ou parquet.
Paramètres de chat et de récupération

  1. Modèle de chat :

    • Choisissez parmi différents modèles de chat intégrés à Amazon Bedrock. Notez que vous devez déjà avoir activé le modèle de chat depuis Amazon Bedrock.

    • Le cas échéant, sélectionnez le type d’inférence qui correspond à la configuration du modèle sélectionné.

  2. Paramètres de chat:

    • Choisissez une température pour le chatbot pour configurer le caractère aléatoire et la créativité des réponses. Une température plus basse entraîne des réponses plus prévisibles, et une température plus élevée entraîne des réponses plus variées.

    • Choisissez une longueur de réponse maximale pour configurer le niveau de détail des réponses. Des longueurs de réponse plus longues utilisent plus de jetons de réponse et peuvent entraîner un coût plus élevé.

  3. Mode réflexion : lorsque le mode réflexion est activé, le chatbot prendra plus de temps pour traiter les requêtes et les résultats seront généralement plus précis. Lorsque vous activez le mode de réflexion, vous pouvez contrôler le nombre de jetons de raisonnement utilisés lors de la génération de résultats. L’utilisation de davantage de jetons de raisonnement peut conduire à des réponses plus précises, mais peut entraîner un coût plus élevé.

  4. Reclassement : Activez ou désactivez le reclassement, ce qui peut améliorer la pertinence et la qualité des résultats de requête. Choisissez un modèle de chat standard ou un modèle de reclassement spécialisé à utiliser pour le reclassement. Les options du modèle Reranker ne sont affichées que si elles sont disponibles dans votre région. Sélectionnez le type d’inférence qui correspond à la configuration du modèle sélectionné.

  5. Amorces de conversation : indiquez si vous souhaitez fournir jusqu'à quatre invites de démarrage de conversation qui s'affichent aux utilisateurs qui interagissent avec un chatbot utilisant cette base de connaissances. Nous vous recommandons d'activer ce paramètre.

    Si vous activez les amorces de conversation, le mode automatique est sélectionné par défaut. Le « mode manuel » ne peut être activé qu'après avoir ajouté des sources de données à votre base de connaissances. "Apprenez à modifier les paramètres de la base de connaissances".

Définitions de stockage

  1. *Système de fichiers FSx pour ONTAP * : lorsque vous définissez une nouvelle base de connaissances, Workload Factory crée un nouveau volume Amazon FSx for NetApp ONTAP pour la stocker. Choisissez un nom de système de fichiers existant et une SVM (également appelée VM de stockage) où le nouveau volume sera créé.

  2. Politique de capture instantanée : choisissez une politique de capture instantanée dans la liste des politiques existantes définies dans l'inventaire de stockage Workload Factory. Des instantanés récurrents de la base de connaissances seront automatiquement créés à une fréquence basée sur la politique d'instantanés que vous sélectionnez.

  3. Seau S3 : si les résultats de la requête du chatbot contiennent des données structurées, GenAI peut stocker les résultats dans un compartiment S3. Pour utiliser cette fonctionnalité, activez le paramètre Activer le compartiment S3 et choisissez un compartiment S3 associé à votre compte dans la liste. Lorsque ces résultats sont stockés dans un bucket S3, vous pouvez les télécharger à l’aide du lien de téléchargement dans la session de chat.

    Si la règle de snapshot dont vous avez besoin n'existe pas, vous pouvez "création d'une règle de snapshots" la faire sur la machine virtuelle de stockage qui contient le volume.

  4. Sélectionnez Créer la base de connaissances pour ajouter la base de connaissances à GenAI.

    Un indicateur de progression s'affiche pendant la création de la base de connaissances.

    Une fois la base de connaissances créée, vous avez la possibilité d'ajouter une source de données à votre nouvelle base de connaissances ou de mettre fin au processus sans ajouter de source de données. Nous vous recommandons de sélectionner Ajouter une source de données et d'ajouter une ou plusieurs sources de données maintenant.

Ajoutez des sources de données à la base de connaissances

Vous pouvez ajouter une ou plusieurs sources de données pour remplir la base de connaissances avec les données de votre organisation.

Description de la tâche

Le nombre maximum de sources de données prises en charge est de 10.

Étapes

  1. Après avoir sélectionné Ajouter une source de données, sélectionnez le type de source de données que vous souhaitez ajouter :

    • Ajouter un système de fichiers FSx pour ONTAP (utiliser les fichiers d'un volume FSx pour ONTAP existant)

    • Ajouter un système de fichiers (utiliser des fichiers provenant d'un partage SMB ou NFS générique)

Ajouter un système de fichiers FSx pour ONTAP

  1. Sélectionnez un système de fichiers : sélectionnez le système de fichiers FSX pour ONTAP dans lequel résident vos fichiers source de données et sélectionnez Suivant.

  2. Sélectionnez un volume : sélectionnez le volume sur lequel vos fichiers de source de données résident et sélectionnez Suivant.

    Lorsque vous sélectionnez des fichiers stockés à l'aide du protocole SMB, vous devez entrer les informations Active Directory, notamment le domaine, l'adresse IP, le nom d'utilisateur et le mot de passe.

  3. Sélectionnez une source de données : sélectionnez l'emplacement de la source de données en fonction de l'emplacement d'enregistrement des fichiers. Il peut s'agir d'un volume entier, ou simplement d'un dossier ou d'un sous-dossier spécifique dans le volume, et sélectionnez Suivant.

  4. Configurations : configurez la façon dont la source de données ingère les informations de vos fichiers et les fichiers qu'elle inclut dans les analyses :

    • Définir la source de données : dans la section Stratégie de partage, définissez la façon dont le moteur GenAI divise le contenu de la source de données en blocs lorsque la source de données est intégrée à une base de connaissances. Vous pouvez choisir l'une des stratégies suivantes :

      • Chunking à plusieurs phrases : organise les informations de votre source de données en blocs définis par des phrases. Vous pouvez choisir combien de phrases composent chaque morceau (jusqu'à 100).

      • Chunking basé sur le chevauchement : organise les informations de votre source de données en blocs définis par des caractères qui peuvent chevaucher des blocs voisins. Vous pouvez choisir la taille de chaque bloc en caractères et la quantité de chaque bloc qui chevauche les blocs adjacents. Vous pouvez configurer une taille de bloc comprise entre 50 et 3000 caractères et un pourcentage de chevauchement compris entre 1 et 99 %.

        Remarque Le choix d'un pourcentage de chevauchement élevé peut considérablement augmenter les besoins de stockage avec seulement de légères améliorations de la précision de récupération.

    • Filtrage de fichiers : configurez les fichiers inclus dans les analyses :

      • Dans la section prise en charge des types de fichiers, choisissez soit d'inclure tous les types de fichiers, soit de sélectionner des types de fichiers individuels à inclure dans les analyses de sources de données.

        Si vous incluez des images ou des fichiers PDF, NetApp Workload Factory for GenAI analyse le texte dans les images (y compris les images dans les documents PDF), ce qui entraîne un coût plus élevé.

      Lors de l'inclusion de données texte à partir d'images, GenAI ne peut pas masquer les informations à caractère personnel (PII) de l'image car les données texte numérisées sont envoyées de votre environnement vers AWS. Cependant, une fois les données stockées, toutes les PII sont masquées dans la base de données GenAI.

    Remarque Votre choix d'inclure des fichiers image dans les analyses est lié au modèle de chat de la base de connaissances. Si vous incluez des fichiers image dans les numérisations, le modèle de chat doit prendre en charge les images. Si des types de fichiers d'image sont sélectionnés ici, vous ne pouvez pas passer de la base de connaissances à un modèle de chat qui ne prend pas en charge les fichiers d'image.

    • Dans la section filtre de temps de modification de fichier, choisissez d'activer ou de désactiver l'inclusion de fichiers en fonction de leur heure de modification. Si vous activez le filtrage de l'heure de modification, sélectionnez une plage de dates dans la liste.

      Remarque Si vous incluez des fichiers basés sur une plage de dates de modification, dès que la plage de dates n'est pas satisfaite (les fichiers n'ont pas été modifiés dans la plage de dates spécifiée), les fichiers seront exclus de l'analyse périodique et la source de données n'inclura pas ces fichiers.

  5. Dans la section permission Aware, disponible uniquement lorsque la source de données que vous avez sélectionnée se trouve sur un volume qui utilise le protocole SMB, vous pouvez activer ou désactiver les réponses sensibles aux autorisations :

    • Activé : les utilisateurs du chatbot qui accèdent à cette base de connaissances n'obtiennent que les réponses aux requêtes des sources de données auxquelles ils ont accès.

    • Désactivé : les utilisateurs du chatbot recevront des réponses en utilisant le contenu de toutes les sources de données intégrées.

  6. Sélectionnez Ajouter pour ajouter cette source de données à votre base de connaissances.

Ajouter un système de fichiers NFS générique

  1. Sélectionnez un système de fichiers : saisissez l'adresse IP ou le nom de domaine complet de l'hôte du système de fichiers où résident vos fichiers source de données, choisissez le protocole NFS pour le partage réseau et sélectionnez Suivant.

  2. Sélectionnez une source de données : sélectionnez l'emplacement de la source de données en fonction de l'emplacement d'enregistrement des fichiers. Il peut s'agir d'un volume entier, ou simplement d'un dossier ou d'un sous-dossier spécifique dans le volume, et sélectionnez Suivant.

    Remarque Dans certains cas, vous devrez peut-être saisir manuellement le nom de l'exportation NFS et sélectionner « Récupérer les répertoires » pour afficher les répertoires disponibles. Vous pouvez sélectionner l'exportation dans son intégralité ou seulement certains dossiers.

  3. Configurations : configurez la façon dont la source de données ingère les informations de vos fichiers et les fichiers qu'elle inclut dans les analyses :

    • Définir la source de données : dans la section Stratégie de partage, définissez la façon dont le moteur GenAI divise le contenu de la source de données en blocs lorsque la source de données est intégrée à une base de connaissances. Vous pouvez choisir l'une des stratégies suivantes :

      • Chunking à plusieurs phrases : organise les informations de votre source de données en blocs définis par des phrases. Vous pouvez choisir combien de phrases composent chaque morceau (jusqu'à 100).

      • Chunking basé sur le chevauchement : organise les informations de votre source de données en blocs définis par des caractères qui peuvent chevaucher des blocs voisins. Vous pouvez choisir la taille de chaque bloc en caractères et la quantité de chaque bloc qui chevauche les blocs adjacents. Vous pouvez configurer une taille de bloc comprise entre 50 et 3000 caractères et un pourcentage de chevauchement compris entre 1 et 99 %.

        Remarque Le choix d'un pourcentage de chevauchement élevé peut considérablement augmenter les besoins de stockage avec seulement de légères améliorations de la précision de récupération.

    • Filtrage de fichiers : configurez les fichiers inclus dans les analyses :

      • Dans la section prise en charge des types de fichiers, choisissez soit d'inclure tous les types de fichiers, soit de sélectionner des types de fichiers individuels à inclure dans les analyses de sources de données.

        Si vous incluez des images ou des fichiers PDF, NetApp Workload Factory for GenAI analyse le texte dans les images (y compris les images dans les documents PDF), ce qui entraîne un coût plus élevé.

      Lors de l'inclusion de données texte à partir d'images, GenAI ne peut pas masquer les informations à caractère personnel (PII) de l'image car les données texte numérisées sont envoyées de votre environnement vers AWS. Cependant, une fois les données stockées, toutes les PII sont masquées dans la base de données GenAI.

    Remarque Votre choix d'inclure des fichiers image dans les analyses est lié au modèle de chat de la base de connaissances. Si vous incluez des fichiers image dans les numérisations, le modèle de chat doit prendre en charge les images. Si des types de fichiers d'image sont sélectionnés ici, vous ne pouvez pas passer de la base de connaissances à un modèle de chat qui ne prend pas en charge les fichiers d'image.

    • Dans la section filtre de temps de modification de fichier, choisissez d'activer ou de désactiver l'inclusion de fichiers en fonction de leur heure de modification. Si vous activez le filtrage de l'heure de modification, sélectionnez une plage de dates dans la liste.

      Remarque Si vous incluez des fichiers basés sur une plage de dates de modification, dès que la plage de dates n'est pas satisfaite (les fichiers n'ont pas été modifiés dans la plage de dates spécifiée), les fichiers seront exclus de l'analyse périodique et la source de données n'inclura pas ces fichiers.

  4. Sélectionnez Ajouter une source de données pour ajouter cette source de données à votre base de connaissances.

Ajouter un système de fichiers SMB générique

  1. Sélectionnez le système de fichiers:

    1. Saisissez l'adresse IP ou le nom de domaine complet de l'hôte du système de fichiers où résident vos fichiers source de données.

    2. Choisissez le protocole SMB pour le partage réseau.

    3. Saisissez les informations Active Directory, qui incluent le domaine, l’adresse IP, le nom d’utilisateur et le mot de passe.

    4. Sélectionnez Suivant.

  2. Sélectionnez une source de données : sélectionnez l'emplacement de la source de données en fonction de l'emplacement d'enregistrement des fichiers. Il peut s'agir d'un volume entier, ou simplement d'un dossier ou d'un sous-dossier spécifique dans le volume, et sélectionnez Suivant.

    Remarque Dans certains cas, vous devrez peut-être saisir manuellement le nom du partage SMB et sélectionner « Récupérer les répertoires » pour afficher les répertoires disponibles. Vous pouvez sélectionner le partage entier ou seulement certains dossiers.

  3. Configurations : configurez la façon dont la source de données ingère les informations de vos fichiers et les fichiers qu'elle inclut dans les analyses :

    • Définir la source de données : dans la section Stratégie de partage, définissez la façon dont le moteur GenAI divise le contenu de la source de données en blocs lorsque la source de données est intégrée à une base de connaissances. Vous pouvez choisir l'une des stratégies suivantes :

      • Chunking à plusieurs phrases : organise les informations de votre source de données en blocs définis par des phrases. Vous pouvez choisir combien de phrases composent chaque morceau (jusqu'à 100).

      • Chunking basé sur le chevauchement : organise les informations de votre source de données en blocs définis par des caractères qui peuvent chevaucher des blocs voisins. Vous pouvez choisir la taille de chaque bloc en caractères et la quantité de chaque bloc qui chevauche les blocs adjacents. Vous pouvez configurer une taille de bloc comprise entre 50 et 3000 caractères et un pourcentage de chevauchement compris entre 1 et 99 %.

        Remarque Le choix d'un pourcentage de chevauchement élevé peut considérablement augmenter les besoins de stockage avec seulement de légères améliorations de la précision de récupération.

    • Conscient des autorisations : Activer ou désactiver les réponses conscientes des autorisations :

      • Activé : les utilisateurs du chatbot qui accèdent à cette base de connaissances n'obtiennent que les réponses aux requêtes des sources de données auxquelles ils ont accès.

      • Désactivé : les utilisateurs du chatbot recevront des réponses en utilisant le contenu de toutes les sources de données intégrées.

    • Filtrage de fichiers : configurez les fichiers inclus dans les analyses :

      • Dans la section prise en charge des types de fichiers, choisissez soit d'inclure tous les types de fichiers, soit de sélectionner des types de fichiers individuels à inclure dans les analyses de sources de données.

        Si vous incluez des images ou des fichiers PDF, NetApp Workload Factory for GenAI analyse le texte dans les images (y compris les images dans les documents PDF), ce qui entraîne un coût plus élevé.

      Lors de l'inclusion de données texte à partir d'images, GenAI ne peut pas masquer les informations à caractère personnel (PII) de l'image car les données texte numérisées sont envoyées de votre environnement vers AWS. Cependant, une fois les données stockées, toutes les PII sont masquées dans la base de données GenAI.

    Remarque Votre choix d'inclure des fichiers image dans les analyses est lié au modèle de chat de la base de connaissances. Si vous incluez des fichiers image dans les numérisations, le modèle de chat doit prendre en charge les images. Si des types de fichiers d'image sont sélectionnés ici, vous ne pouvez pas passer de la base de connaissances à un modèle de chat qui ne prend pas en charge les fichiers d'image.

    • Dans la section filtre de temps de modification de fichier, choisissez d'activer ou de désactiver l'inclusion de fichiers en fonction de leur heure de modification. Si vous activez le filtrage de l'heure de modification, sélectionnez une plage de dates dans la liste.

      Remarque Si vous incluez des fichiers basés sur une plage de dates de modification, dès que la plage de dates n'est pas satisfaite (les fichiers n'ont pas été modifiés dans la plage de dates spécifiée), les fichiers seront exclus de l'analyse périodique et la source de données n'inclura pas ces fichiers.

  4. Sélectionnez Ajouter une source de données pour ajouter cette source de données à votre base de connaissances.

Résultat

La source de données commence à être intégrée à votre base de connaissances. L'état passe de « intégration » à « intégrée » lorsque la source de données est complètement intégrée.

Après avoir ajouté une seule source de données à la base de connaissances, vous pouvez la tester localement dans la fenêtre du simulateur de chatbot et apporter les modifications requises avant de rendre le chatbot disponible pour vos utilisateurs. Vous pouvez également suivre les mêmes étapes pour ajouter des sources de données supplémentaires à la base de connaissances.