Con Xeon 6 como CPU host, los sistemas acelerados se benefician de un alto rendimiento de un solo subproceso, mayor ancho de banda de memoria, confiabilidad, disponibilidad y capacidad de servicio (RAS) mejoradas y más líneas de E/S. Intel AMX acelera la inferencia para INT8 y BF16 y ofrece soporte para modelos entrenados con FP16, con hasta 2048 operaciones de punto flotante por ciclo por núcleo para INT8 y 1024 operaciones de punto flotante por ciclo por núcleo para BF16/FP16. Para implementar una solución RAG utilizando procesadores Xeon 6, generalmente se recomienda una RAM mínima de 250 GB y 500 GB de espacio en disco. Sin embargo, esto depende en gran medida del tamaño del modelo LLM. Para obtener más información, consulte Intel "Procesador Xeon 6" Descripción del producto.

Figura 1 - Servidor de cómputo con procesadores Intel Xeon 6

Los sistemas NetApp AFF Serie A de nivel básico y medio ofrecen mayor rendimiento, densidad y eficiencia. Los sistemas NetApp AFF A20, AFF A30 y AFF A50 proporcionan un verdadero almacenamiento unificado que admite bloques, archivos y objetos, basado en un único sistema operativo que puede administrar, proteger y movilizar datos sin problemas para aplicaciones RAG al menor costo en la nube híbrida.

Figura 2 - Sistema NetApp AFF Serie A.

Para la validación de este diseño de referencia se utilizaron servidores con procesadores Intel Xeon 6 de Supermicro (222HA-TN-OTO-37) y un switch 100GbE de Arista (7280R3A).

Figura 3 - Arquitectura de despliegue de AIPod Mini

La Plataforma Abierta para IA Empresarial (OPEA) es una iniciativa de código abierto liderada por Intel en colaboración con socios del ecosistema. Proporciona una plataforma modular de bloques de construcción componibles diseñados para acelerar el desarrollo de sistemas de IA generativa de vanguardia, con un fuerte enfoque en RAG. OPEA incluye un marco integral que incluye LLM, almacenes de datos, motores de solicitud, planos arquitectónicos RAG y un método de evaluación de cuatro pasos que evalúa los sistemas de IA generativa en función del rendimiento, las características, la confiabilidad y la preparación empresarial.

En esencia, la OPEA consta de dos componentes clave:

Para más detalles, consulte la "Documentación del proyecto OPEA"

OPEA para Intel® AI for Enterprise RAG simplifica transformar los datos de tu empresa en información práctica. Impulsado por procesadores Intel Xeon, integra componentes de partners del sector para ofrecer un enfoque optimizado para poner en marcha soluciones empresariales. Se adapta perfectamente con marcos de orquestación probados, proporcionando la flexibilidad y la capacidad de elección que tu empresa necesita.

Partiendo de los cimientos de OPEA, Intel® AI for Enterprise RAG amplía esta base con funciones clave que mejoran la escalabilidad, la seguridad y la experiencia del usuario. Estas funciones incluyen capacidades de malla de servicios para una integración perfecta con arquitecturas modernas basadas en servicios, validación lista para producción para la fiabilidad de la canalización y una interfaz de usuario rica en funciones para RAG como servicio, permitiendo una gestión y supervisión sencillas de los flujos de trabajo. Además, Intel y el soporte de sus partners proporcionan acceso a un amplio ecosistema de soluciones, combinado con la gestión de identidades y accesos (IAM) integrada con la interfaz de usuario y las aplicaciones para operaciones seguras y conformes. Las barandillas programables proporcionan un control detallado sobre el comportamiento de la canalización, permitiendo personalizar los ajustes de seguridad y conformidad.

NetApp ONTAP es la tecnología fundamental que sustenta las soluciones de almacenamiento de datos críticos de NetApp. ONTAP incluye varias funciones de gestión y protección de datos, como protección automática contra ransomware contra ciberataques, funciones de transporte de datos integradas y capacidades de eficiencia de almacenamiento. Estos beneficios se aplican a una variedad de arquitecturas, desde locales hasta multicloud híbrido en NAS, SAN, objetos y almacenamiento definido por software para implementaciones LLM. Puede utilizar un servidor de almacenamiento de objetos ONTAP S3 en un clúster ONTAP para implementar aplicaciones RAG, aprovechando la eficiencia de almacenamiento y la seguridad de ONTAP, proporcionada a través de usuarios autorizados y aplicaciones cliente. Para obtener más información, consulte "Obtenga más información sobre la configuración de ONTAP S3"

El software NetApp Trident es un orquestador de almacenamiento de código abierto y totalmente compatible con contenedores y distribuciones de Kubernetes, incluido Red Hat OpenShift. Trident funciona con todo el portafolio de almacenamiento de NetApp , incluido NetApp ONTAP y también admite conexiones NFS e iSCSI. Para obtener más información, consulte "NetApp Trident en Git"

Implemente y aprovisione su dispositivo de almacenamiento NetApp ONTAP . Consulte la "Documentación de los sistemas de hardware de ONTAP" Para más detalles.

Configure una máquina virtual de almacenamiento ONTAP (SVM) para acceso NFS y S3 en una red a la que puedan acceder sus nodos de Kubernetes.

Para crear una SVM usando ONTAP System Manager, navegue a Almacenamiento > Máquinas virtuales de almacenamiento y haga clic en el botón + Agregar. Al habilitar el acceso S3 para su SVM, elija la opción para utilizar un certificado firmado por una CA externa (autoridad de certificación), no un certificado generado por el sistema. Puede utilizar un certificado autofirmado o un certificado firmado por una CA de confianza pública. Para obtener más detalles, consulte la "Documentación de ONTAP ."

La siguiente captura de pantalla muestra la creación de una SVM utilizando ONTAP System Manager. Modifique los detalles según sea necesario en función de su entorno.

Figura 5 - Creación de SVM mediante ONTAP System Manager.

Configure los ajustes de usuario/grupo S3 para la SVM que creó en el paso anterior. Asegúrese de tener un usuario con acceso completo a todas las operaciones de API S3 para esa SVM. Consulte la documentación de ONTAP S3 para obtener más detalles.

Nota: este usuario será necesario para el servicio de ingesta de datos de la aplicación Intel® AI for Enterprise RAG. Si creaste tu SVM usando ONTAP System Manager, System Manager habrá creado automáticamente un usuario llamado sm_s3_user y una política llamada FullAccess cuando creaste tu SVM, pero no se habrán asignado permisos a sm_s3_user.

Para editar los permisos de este usuario, vaya a Almacenamiento > Máquinas virtuales de almacenamiento, haga clic en el nombre de la SVM que creó en el paso anterior, haga clic en Configuración y, luego, haga clic en el ícono de lápiz junto a "S3". Dar sm_s3_user acceso completo a todas las operaciones de la API de S3, crear un nuevo grupo que asocie sm_s3_user con el FullAccess política como se muestra en la siguiente captura de pantalla.

Figura 6 - Permisos S3.

Crea un bucket S3 dentro del SVM que creaste anteriormente. Para crear una SVM usando ONTAP System Manager, navegue a Almacenamiento > Cubos y haga clic en el botón + Agregar. Para obtener detalles adicionales, consulte la documentación de ONTAP S3.

La siguiente captura de pantalla muestra la creación de un depósito S3 mediante ONTAP System Manager.

Figura 7 - Crear un bucket S3.

Configure los permisos para el depósito S3 que creó en el paso anterior. Asegúrese de que el usuario que configuró en un paso anterior tenga los siguientes permisos: GetObject, PutObject, DeleteObject, ListBucket, GetBucketAcl, GetObjectAcl, ListBucketMultipartUploads, ListMultipartUploadParts, GetObjectTagging, PutObjectTagging, DeleteObjectTagging, GetBucketLocation, GetBucketVersioning, PutBucketVersioning, ListBucketVersions, GetBucketPolicy, PutBucketPolicy, DeleteBucketPolicy, PutLifecycleConfiguration, GetLifecycleConfiguration, GetBucketCORS, PutBucketCORS.

Para editar los permisos de un depósito S3 mediante ONTAP System Manager, navegue a Almacenamiento > Depósitos, haga clic en el nombre de su depósito, haga clic en Permisos y, luego, haga clic en Editar. Consulte la "Documentación de ONTAP S3" Para más detalles.

La siguiente captura de pantalla muestra los permisos de depósito necesarios en ONTAP System Manager.

Figura 8 - Permisos del bucket S3.

Con la CLI de ONTAP , cree una regla de uso compartido de recursos de origen cruzado (CORS) para el depósito que creó en un paso anterior:

Esta regla permite que OPEA for Intel® AI for Enterprise RAG web application interactúe con el bucket desde un navegador web.

Implemente sus servidores e instale Ubuntu 22.04 LTS en cada servidor. Después de instalar Ubuntu, instale las utilidades NFS en cada servidor. Para instalar las utilidades NFS, ejecute el siguiente comando:

Consulta el siguiente documento para ver el flujo de trabajo de puesta en marcha paso a paso: NetApp AIPod Mini para ERAG - Pasos de la implementación todos los requisitos previos, la preparación de la infraestructura, los parámetros de configuración y los procedimientos de puesta en marcha están documentados en la guía de puesta en marcha anterior.

Accede a la RAG UI de OPEA para Intel® AI for Enterprise. Consulta el "Documentación de puesta en marcha de Intel® AI for Enterprise RAG" para más detalles.

Figura 9 - OPEA para Intel® AI for Enterprise RAG UI.

Ahora puede ingerir archivos para incluirlos en la ampliación de consultas basada en RAG. Existen múltiples opciones para ingerir archivos. Elija la opción adecuada a sus necesidades.

Nota: después de que se ha ingestado un archivo, la OPEA para Intel® AI for Enterprise RAG application comprueba automáticamente si hay actualizaciones en el archivo y las ingiere en consecuencia.

*Opción 1: subir directamente a tu bucket de S3 Para ingestar muchos archivos a la vez, te recomendamos subir los archivos a tu bucket de S3 (el bucket que creaste anteriormente) usando el cliente de S3 que prefieras. Los clientes de S3 más populares incluyen AWS CLI, Amazon SDK for Python (Boto3), s3cmd, S3 Browser, Cyberduck y Commander One. Si los archivos son de un tipo admitido, cualquier archivo que subas a tu bucket de S3 será ingerido automáticamente por la aplicación OPEA for Intel® AI for Enterprise RAG.

Nota: en el momento de redactar este documento, se admiten los siguientes tipos de archivo: PDF, HTML, TXT, DOC, DOCX, ADOC, PPT, PPTX, MD, XML, JSON, JSONL, YAML, XLS, XLSX, CSV, TIFF, JPG, JPEG, PNG y SVG.

Puedes usar la OPEA para Intel® AI for Enterprise RAG UI para confirmar que tus archivos se ingirieron correctamente. Consulta la documentación de Intel® AI for Enterprise RAG UI para más detalles. Ten en cuenta que la aplicación puede tardar un poco en ingerir una gran cantidad de archivos.

*Opción 2: carga mediante la interfaz de usuario Si necesitas cargar solo un pequeño número de archivos, puedes cargarlos usando la OPEA para Intel® AI for Enterprise RAG UI. Consulta la documentación de Intel® AI for Enterprise RAG UI para más detalles.

Figura 10 - UI de ingesta de datos.

Ahora puedes "chatear" con la OPEA for Intel® AI for Enterprise RAG application usando la interfaz de chat incluida. Al responder a tus consultas, la aplicación realiza RAG usando tus archivos ingestados. Esto significa que la aplicación busca automáticamente información relevante dentro de tus archivos ingestados e incorpora esta información al responder a tus consultas.