Avec Xeon 6 comme processeur hôte, les systèmes accélérés bénéficient de performances monothread élevées, d'une bande passante mémoire plus élevée, d'une fiabilité, d'une disponibilité et d'une facilité d'entretien (RAS) améliorées et de davantage de voies d'E/S. Intel AMX accélère l'inférence pour INT8 et BF16 et offre une prise en charge des modèles formés FP16, avec jusqu'à 2 048 opérations à virgule flottante par cycle et par cœur pour INT8 et 1 024 opérations à virgule flottante par cycle et par cœur pour BF16/FP16. Pour déployer une solution RAG utilisant des processeurs Xeon 6, une RAM minimale de 250 Go et un espace disque de 500 Go sont généralement recommandés. Cependant, cela dépend fortement de la taille du modèle LLM. Pour plus d'informations, reportez-vous à la documentation Intel "Processeur Xeon 6" fiche produit.

Figure 1 - Serveur de calcul avec processeurs Intel Xeon 6

Les systèmes NetApp AFF A-Series d'entrée de gamme et de milieu de gamme offrent des performances plus puissantes, une densité plus élevée et une plus grande efficacité. Les systèmes NetApp AFF A20, AFF A30 et AFF A50 offrent un véritable stockage unifié qui prend en charge les blocs, les fichiers et les objets, basé sur un système d'exploitation unique capable de gérer, de protéger et de mobiliser de manière transparente les données pour les applications RAG au coût le plus bas dans le cloud hybride.

Figure 2 - Système NetApp AFF série A.

Pour la validation de cette conception de référence, des serveurs équipés de processeurs Intel Xeon 6 de Supermicro (222HA-TN-OTO-37) et d'un commutateur 100GbE d'Arista (7280R3A) ont été utilisés.

L'Open Platform for Enterprise AI (OPEA) est une initiative open source dirigée par Intel en collaboration avec des partenaires de l'écosystème. Il fournit une plate-forme modulaire de blocs de construction composables conçus pour accélérer le développement de systèmes d'IA génératifs de pointe, avec un fort accent sur RAG. OPEA comprend un cadre complet comprenant des LLM, des magasins de données, des moteurs d'invite, des plans architecturaux RAG et une méthode d'évaluation en quatre étapes qui évalue les systèmes d'IA génératifs en fonction des performances, des fonctionnalités, de la fiabilité et de la préparation de l'entreprise.

À la base, l'OPEA comprend deux éléments clés :

Pour plus de détails, voir le "Documentation du projet OPEA"

OPEA pour Intel AI for Enterprise RAG simplifie la transformation de vos données d'entreprise en informations exploitables. Alimenté par des processeurs Intel Xeon, il intègre des composants de partenaires industriels pour offrir une approche simplifiée du déploiement de solutions d'entreprise. Il s'adapte de manière transparente aux cadres d'orchestration éprouvés, offrant la flexibilité et le choix dont votre entreprise a besoin.

S'appuyant sur les fondations d'OPEA, Intel AI for Enterprise RAG étend cette base avec des fonctionnalités clés qui améliorent l'évolutivité, la sécurité et l'expérience utilisateur. Ces fonctionnalités incluent des capacités de maillage de services pour une intégration transparente avec les architectures modernes basées sur les services, une validation prête pour la production pour la fiabilité du pipeline et une interface utilisateur riche en fonctionnalités pour RAG en tant que service, permettant une gestion et une surveillance faciles des flux de travail. De plus, Intel et le support de ses partenaires offrent l'accès à un vaste écosystème de solutions, associé à une gestion intégrée des identités et des accès (IAM) avec interface utilisateur et applications pour des opérations sécurisées et conformes. Les garde-fous programmables offrent un contrôle précis du comportement du pipeline, permettant des paramètres de sécurité et de conformité personnalisés.

NetApp ONTAP est la technologie fondamentale qui sous-tend les solutions de stockage de données critiques de NetApp. ONTAP comprend diverses fonctionnalités de gestion et de protection des données, telles que la protection automatique contre les ransomwares contre les cyberattaques, des fonctionnalités de transport de données intégrées et des capacités d'efficacité de stockage. Ces avantages s’appliquent à une gamme d’architectures, du sur site au multicloud hybride en NAS, SAN, objet et stockage défini par logiciel pour les déploiements LLM. Vous pouvez utiliser un serveur de stockage d'objets ONTAP S3 dans un cluster ONTAP pour déployer des applications RAG, en tirant parti de l'efficacité du stockage et de la sécurité d' ONTAP, fournies par les utilisateurs autorisés et les applications clientes. Pour plus d'informations, reportez-vous à "En savoir plus sur la configuration ONTAP S3"

Le logiciel NetApp Trident est un orchestrateur de stockage open source et entièrement pris en charge pour les conteneurs et les distributions Kubernetes, y compris Red Hat OpenShift. Trident fonctionne avec l'ensemble du portefeuille de stockage NetApp , y compris NetApp ONTAP , et prend également en charge les connexions NFS et iSCSI. Pour plus d'informations, reportez-vous à "NetApp Trident sur Git"

Déployez et provisionnez votre appliance de stockage NetApp ONTAP . Se référer à la "Documentation des systèmes matériels ONTAP" pour plus de détails.

Configurez une machine virtuelle de stockage ONTAP (SVM) pour l’accès NFS et S3 sur un réseau accessible par vos nœuds Kubernetes.

Pour créer une SVM à l’aide d’ ONTAP System Manager, accédez à Stockage > Machines virtuelles de stockage, puis cliquez sur le bouton + Ajouter. Lorsque vous activez l'accès S3 pour votre SVM, choisissez l'option permettant d'utiliser un certificat signé par une autorité de certification externe, et non un certificat généré par le système. Vous pouvez utiliser un certificat auto-signé ou un certificat signé par une autorité de certification publiquement approuvée. Pour plus de détails, reportez-vous à la "Documentation ONTAP ."

La capture d’écran suivante illustre la création d’un SVM à l’aide d’ ONTAP System Manager. Modifiez les détails selon vos besoins en fonction de votre environnement.

Figure 4 - Création de SVM à l'aide d' ONTAP System Manager.

Configurez les paramètres utilisateur/groupe S3 pour le SVM que vous avez créé à l’étape précédente. Assurez-vous d’avoir un utilisateur avec un accès complet à toutes les opérations de l’API S3 pour ce SVM. Reportez-vous à la documentation ONTAP S3 pour plus de détails.

Remarque : cet utilisateur sera nécessaire pour le service d’ingestion de données de l’application Intel AI for Enterprise RAG. Si vous avez créé votre SVM à l'aide d' ONTAP System Manager, System Manager aura automatiquement créé un utilisateur nommé sm_s3_user et une politique nommée FullAccess lorsque vous avez créé votre SVM, mais aucune autorisation ne vous aura été attribuée sm_s3_user .

Pour modifier les autorisations de cet utilisateur, accédez à Stockage > Machines virtuelles de stockage, cliquez sur le nom de la SVM que vous avez créée à l'étape précédente, cliquez sur Paramètres, puis sur l'icône en forme de crayon à côté de « S3 ». Donner sm_s3_user accès complet à toutes les opérations de l'API S3, créez un nouveau groupe qui associe sm_s3_user avec le FullAccess politique telle que décrite dans la capture d'écran suivante.

Figure 5 - Autorisations S3.

Créez un bucket S3 dans la SVM que vous avez créée précédemment. Pour créer un SVM à l’aide d’ ONTAP System Manager, accédez à Stockage > Buckets et cliquez sur le bouton + Ajouter. Pour plus de détails, reportez-vous à la documentation ONTAP S3.

La capture d’écran suivante illustre la création d’un bucket S3 à l’aide d’ ONTAP System Manager.

Figure 6 – Créer un bucket S3.

Configurez les autorisations pour le compartiment S3 que vous avez créé à l’étape précédente. Assurez-vous que l’utilisateur que vous avez configuré à une étape précédente dispose des autorisations suivantes : GetObject, PutObject, DeleteObject, ListBucket, GetBucketAcl, GetObjectAcl, ListBucketMultipartUploads, ListMultipartUploadParts, GetObjectTagging, PutObjectTagging, DeleteObjectTagging, GetBucketLocation, GetBucketVersioning, PutBucketVersioning, ListBucketVersions, GetBucketPolicy, PutBucketPolicy, DeleteBucketPolicy, PutLifecycleConfiguration, GetLifecycleConfiguration, GetBucketCORS, PutBucketCORS.

Pour modifier les autorisations du compartiment S3 à l’aide d’ ONTAP System Manager, accédez à Stockage > Compartiments, cliquez sur le nom de votre compartiment, cliquez sur Autorisations, puis sur Modifier. Se référer à la "Documentation ONTAP S3" pour plus de détails.

La capture d’écran suivante illustre les autorisations de compartiment nécessaires dans ONTAP System Manager.

Figure 7 - Autorisations du compartiment S3.

À l'aide de l'interface de ligne de commande ONTAP , créez une règle de partage de ressources inter-origines (CORS) pour le bucket que vous avez créé à l'étape précédente :

Cette règle permet à l'application Web OPEA pour Intel AI for Enterprise RAG d'interagir avec le bucket à partir d'un navigateur Web.

Déployez vos serveurs et installez Ubuntu 22.04 LTS sur chaque serveur. Une fois Ubuntu installé, installez les utilitaires NFS sur chaque serveur. Pour installer les utilitaires NFS, exécutez la commande suivante :

Installez Kubernetes sur vos serveurs à l’aide de Kubespray. Se référer à la "Documentation de Kubespray" pour plus de détails.

Installez le pilote NetApp Trident CSI dans votre cluster Kubernetes. Se référer à la "Documentation d'installation de Trident" pour plus de détails.

Créez un back-end Trident pour le SVM que vous avez créé précédemment. Lors de la création de votre back-end, utilisez le ontap-nas conducteur. Se référer à la "Documentation du back-end de Trident" pour plus de détails.

Créez une classe de stockage Kubernetes correspondant au back-end Trident que vous avez créé à l’étape précédente. Reportez-vous à la documentation de la classe de stockage Trident pour plus de détails.

Installez OPEA pour Intel AI for Enterprise RAG dans votre cluster Kubernetes. Se référer à la "Déploiement de l'IA Intel pour le RAG d'entreprise" documentation pour plus de détails. Assurez-vous de prendre note des modifications requises du fichier de configuration qui sont décrites plus loin dans ce document. Vous devez effectuer ces modifications avant d’exécuter le playbook d’installation afin que l’application Intel AI for Enterprise RAG fonctionne correctement avec votre système de stockage ONTAP .

Accédez à l'interface utilisateur RAG d'OPEA pour Intel AI for Enterprise. Se référer à la "Documentation sur le déploiement d'Intel AI for Enterprise RAG" pour plus de détails.

Figure 8 - OPEA pour Intel AI pour l'interface utilisateur RAG d'entreprise.

Vous pouvez désormais ingérer des fichiers à inclure dans l’augmentation des requêtes basée sur RAG. Il existe plusieurs options pour ingérer des fichiers. Choisissez l'option appropriée à vos besoins.

Remarque : une fois qu’un fichier a été ingéré, l’application OPEA pour Intel AI for Enterprise RAG recherche automatiquement les mises à jour du fichier et ingère les mises à jour en conséquence.

*Option 1 : télécharger directement dans votre bucket S3 Pour ingérer plusieurs fichiers à la fois, nous vous recommandons de télécharger les fichiers dans votre bucket S3 (le bucket que vous avez créé précédemment) en utilisant le client S3 de votre choix. Les clients S3 populaires incluent AWS CLI, Amazon SDK pour Python (Boto3), s3cmd, S3 Browser, Cyberduck et Commander One. Si les fichiers sont d'un type pris en charge, tous les fichiers que vous téléchargez dans votre compartiment S3 seront automatiquement ingérés par l'application OPEA pour Intel AI for Enterprise RAG.

Remarque : au moment de la rédaction de cet article, les types de fichiers suivants sont pris en charge : PDF, HTML, TXT, DOC, DOCX, PPT, PPTX, MD, XML, JSON, JSONL, YAML, XLS, XLSX, CSV, TIFF, JPG, JPEG, PNG et SVG.

Vous pouvez utiliser l’interface utilisateur OPEA pour Intel AI for Enterprise RAG pour confirmer que vos fichiers ont été correctement ingérés. Reportez-vous à la documentation de l'interface utilisateur Intel AI for Enterprise RAG pour plus de détails. Notez que l’application peut prendre un certain temps pour ingérer un grand nombre de fichiers.

*Option 2 : Télécharger à l'aide de l'interface utilisateur Si vous devez ingérer uniquement un petit nombre de fichiers, vous pouvez les ingérer à l'aide de l'interface utilisateur RAG d'OPEA pour Intel AI for Enterprise. Reportez-vous à la documentation de l'interface utilisateur Intel AI for Enterprise RAG pour plus de détails.

Figure 9 - Interface utilisateur d'ingestion de données.

Vous pouvez désormais « discuter » avec l'application OPEA pour Intel AI for Enterprise RAG en utilisant l'interface utilisateur de chat incluse. Lorsqu'elle répond à vos requêtes, l'application exécute RAG en utilisant vos fichiers ingérés. Cela signifie que l'application recherche automatiquement les informations pertinentes dans vos fichiers ingérés et intègre ces informations lorsqu'elle répond à vos requêtes.