Con Xeon 6 come CPU host, i sistemi accelerati traggono vantaggio da elevate prestazioni single-thread, maggiore larghezza di banda di memoria, maggiore affidabilità, disponibilità e manutenibilità (RAS) e più corsie I/O. Intel AMX accelera l'inferenza per INT8 e BF16 e offre supporto per modelli addestrati da FP16, con un massimo di 2.048 operazioni in virgola mobile per ciclo per core per INT8 e 1.024 operazioni in virgola mobile per ciclo per core per BF16/FP16. Per implementare una soluzione RAG utilizzando processori Xeon 6, in genere si consiglia una RAM minima di 250 GB e 500 GB di spazio su disco. Tuttavia, ciò dipende fortemente dalle dimensioni del modello LLM. Per ulteriori informazioni, fare riferimento a Intel "Processore Xeon 6" descrizione del prodotto.

Figura 1 - Server di elaborazione con processori Intel Xeon 6

I sistemi NetApp AFF A-Series di livello base e intermedio offrono prestazioni più potenti, densità e maggiore efficienza. I sistemi NetApp AFF A20, AFF A30 e AFF A50 forniscono un vero storage unificato che supporta blocchi, file e oggetti, basato su un singolo sistema operativo in grado di gestire, proteggere e mobilitare senza problemi i dati per le applicazioni RAG al costo più basso nel cloud ibrido.

Figura 2 - Sistema NetApp AFF A-Series.

Per la convalida di questo progetto di riferimento sono stati utilizzati server con processori Intel Xeon 6 di Supermicro (222HA-TN-OTO-37) e uno switch 100GbE di Arista (7280R3A).

L'Open Platform for Enterprise AI (OPEA) è un'iniziativa open source guidata da Intel in collaborazione con i partner dell'ecosistema. Fornisce una piattaforma modulare di blocchi di costruzione componibili progettati per accelerare lo sviluppo di sistemi di intelligenza artificiale generativa all'avanguardia, con una forte attenzione al RAG. OPEA include un framework completo che comprende LLM, datastore, motori di prompt, progetti architettonici RAG e un metodo di valutazione in quattro fasi che valuta i sistemi di intelligenza artificiale generativa in base a prestazioni, funzionalità, affidabilità e prontezza aziendale.

L'OPEA è costituito essenzialmente da due componenti chiave:

Per maggiori dettagli, vedere il "Documentazione del progetto OPEA"

OPEA per Intel AI for Enterprise RAG semplifica la trasformazione dei dati aziendali in informazioni fruibili. Basato sui processori Intel Xeon, integra componenti di partner del settore per offrire un approccio semplificato all'implementazione di soluzioni aziendali. Si adatta perfettamente a framework di orchestrazione collaudati, offrendo la flessibilità e la scelta di cui la tua azienda ha bisogno.

Basandosi sulle fondamenta di OPEA, Intel AI for Enterprise RAG amplia questa base con funzionalità chiave che migliorano la scalabilità, la sicurezza e l'esperienza utente. Queste funzionalità includono funzionalità di service mesh per un'integrazione perfetta con le moderne architetture basate sui servizi, convalida pronta per la produzione per l'affidabilità della pipeline e un'interfaccia utente ricca di funzionalità per RAG come servizio, che consente una facile gestione e monitoraggio dei flussi di lavoro. Inoltre, il supporto di Intel e dei partner fornisce l'accesso a un ampio ecosistema di soluzioni, combinato con la gestione integrata dell'identità e degli accessi (IAM) con interfaccia utente e applicazioni per operazioni sicure e conformi. I guardrail programmabili forniscono un controllo dettagliato sul comportamento della pipeline, consentendo impostazioni di sicurezza e conformità personalizzate.

NetApp ONTAP è la tecnologia fondamentale su cui si fondano le soluzioni di archiviazione dati critici di NetApp. ONTAP include diverse funzionalità di gestione e protezione dei dati, come la protezione automatica contro i ransomware e gli attacchi informatici, funzionalità integrate di trasporto dei dati e capacità di efficienza di archiviazione. Questi vantaggi si applicano a una vasta gamma di architetture, da quelle on-premise a quelle multicloud ibride in NAS, SAN, storage object-defined e software-defined per distribuzioni LLM. È possibile utilizzare un server di archiviazione oggetti ONTAP S3 in un cluster ONTAP per distribuire applicazioni RAG, sfruttando l'efficienza di archiviazione e la sicurezza di ONTAP, fornite tramite utenti autorizzati e applicazioni client. Per maggiori informazioni, fare riferimento a "Scopri di più sulla configurazione ONTAP S3"

Il software NetApp Trident è un orchestratore di storage open source e completamente supportato per container e distribuzioni Kubernetes, tra cui Red Hat OpenShift. Trident funziona con l'intero portfolio di storage NetApp , incluso NetApp ONTAP , e supporta anche connessioni NFS e iSCSI. Per maggiori informazioni, fare riferimento a "NetApp Trident su Git"

Distribuisci e fornisci il tuo dispositivo di storage NetApp ONTAP . Fare riferimento al "Documentazione dei sistemi hardware ONTAP" per i dettagli.

Configurare una macchina virtuale di archiviazione ONTAP (SVM) per l'accesso NFS e S3 su una rete accessibile dai nodi Kubernetes.

Per creare una SVM utilizzando ONTAP System Manager, accedere a Storage > Storage VM e fare clic sul pulsante + Aggiungi. Quando si abilita l'accesso S3 per la SVM, scegliere l'opzione per utilizzare un certificato firmato da una CA (autorità di certificazione) esterna, non un certificato generato dal sistema. È possibile utilizzare un certificato autofirmato oppure un certificato firmato da una CA pubblicamente attendibile. Per ulteriori dettagli, fare riferimento al "Documentazione ONTAP ."

La seguente schermata illustra la creazione di una SVM utilizzando ONTAP System Manager. Modifica i dettagli in base alle tue esigenze in base all'ambiente.

Figura 4 - Creazione di SVM tramite ONTAP System Manager.

Configurare le impostazioni utente/gruppo S3 per l'SVM creato nel passaggio precedente. Assicurati di avere un utente con accesso completo a tutte le operazioni API S3 per quella SVM. Per maggiori dettagli, consultare la documentazione di ONTAP S3.

Nota: questo utente sarà necessario per il servizio di acquisizione dati dell'applicazione Intel AI for Enterprise RAG. Se hai creato il tuo SVM utilizzando ONTAP System Manager, System Manager avrà creato automaticamente un utente denominato sm_s3_user e una politica denominata FullAccess quando hai creato il tuo SVM, ma non ti saranno state assegnate autorizzazioni sm_s3_user .

Per modificare le autorizzazioni per questo utente, vai su Archiviazione > VM di archiviazione, fai clic sul nome della SVM creata nel passaggio precedente, fai clic su Impostazioni, quindi fai clic sull'icona della matita accanto a "S3". Per dare sm_s3_user accesso completo a tutte le operazioni API S3, crea un nuovo gruppo che associa sm_s3_user con il FullAccess politica come illustrato nello screenshot seguente.

Figura 5 - Autorizzazioni S3.

Crea un bucket S3 all'interno dell'SVM creato in precedenza. Per creare una SVM utilizzando ONTAP System Manager, vai su Storage > Bucket e fai clic sul pulsante + Aggiungi. Per ulteriori dettagli, fare riferimento alla documentazione ONTAP S3.

La seguente schermata illustra la creazione di un bucket S3 utilizzando ONTAP System Manager.

Figura 6 - Creazione di un bucket S3.

Configurare le autorizzazioni per il bucket S3 creato nel passaggio precedente. Assicurati che l'utente configurato in un passaggio precedente disponga delle seguenti autorizzazioni: GetObject, PutObject, DeleteObject, ListBucket, GetBucketAcl, GetObjectAcl, ListBucketMultipartUploads, ListMultipartUploadParts, GetObjectTagging, PutObjectTagging, DeleteObjectTagging, GetBucketLocation, GetBucketVersioning, PutBucketVersioning, ListBucketVersions, GetBucketPolicy, PutBucketPolicy, DeleteBucketPolicy, PutLifecycleConfiguration, GetLifecycleConfiguration, GetBucketCORS, PutBucketCORS.

Per modificare le autorizzazioni del bucket S3 tramite ONTAP System Manager, accedere a Storage > Bucket, fare clic sul nome del bucket, fare clic su Autorizzazioni e quindi su Modifica. Fare riferimento al "Documentazione ONTAP S3" per ulteriori dettagli.

La seguente schermata illustra le autorizzazioni bucket necessarie in ONTAP System Manager.

Figura 7 - Autorizzazioni del bucket S3.

Utilizzando l'interfaccia della riga di comando ONTAP , crea una regola CORS (cross-origin resource sharing) per il bucket creato in un passaggio precedente:

Questa regola consente all'applicazione web OPEA per Intel AI for Enterprise RAG di interagire con il bucket dall'interno di un browser web.

Distribuisci i tuoi server e installa Ubuntu 22.04 LTS su ogni server. Dopo aver installato Ubuntu, installare le utility NFS su ogni server. Per installare le utilità NFS, eseguire il seguente comando:

Installa Kubernetes sui tuoi server utilizzando Kubespray. Fare riferimento al "Documentazione di Kubespray" per i dettagli.

Installa il driver NetApp Trident CSI nel tuo cluster Kubernetes. Fare riferimento al "Documentazione di installazione Trident" per i dettagli.

Crea un back-end Trident per l'SVM creato in precedenza. Quando crei il tuo back-end, usa il ontap-nas autista. Fare riferimento al "Documentazione back-end Trident" per i dettagli.

Crea una classe di archiviazione Kubernetes corrispondente al back-end Trident creato nel passaggio precedente. Per maggiori dettagli, fare riferimento alla documentazione sulla classe di archiviazione Trident .

Installa OPEA per Intel AI per Enterprise RAG nel tuo cluster Kubernetes. Fare riferimento al "Intel AI per la distribuzione RAG aziendale" documentazione per i dettagli. Assicuratevi di prendere nota delle modifiche necessarie al file di configurazione descritte più avanti in questo documento. È necessario apportare queste modifiche prima di eseguire il playbook di installazione affinché l'applicazione Intel AI for Enterprise RAG funzioni correttamente con il sistema di storage ONTAP .

Accedi all'interfaccia utente OPEA per Intel AI for Enterprise RAG. Fare riferimento al "Documentazione sulla distribuzione di Intel AI for Enterprise RAG" per i dettagli.

Figura 8: OPEA per Intel AI for Enterprise RAG UI.

Ora è possibile acquisire file da includere nell'aumento delle query basato su RAG. Esistono diverse opzioni per l'acquisizione dei file. Scegli l'opzione più adatta alle tue esigenze.

Nota: dopo l'acquisizione di un file, l'applicazione OPEA per Intel AI for Enterprise RAG verifica automaticamente la presenza di aggiornamenti al file e acquisisce gli aggiornamenti di conseguenza.

*Opzione 1: Carica direttamente sul tuo bucket S3 Per acquisire più file contemporaneamente, ti consigliamo di caricarli sul tuo bucket S3 (quello creato in precedenza) utilizzando il client S3 che preferisci. Tra i client S3 più diffusi figurano AWS CLI, Amazon SDK per Python (Boto3), s3cmd, S3 Browser, Cyberduck e Commander One. Se i file sono di un tipo supportato, tutti i file caricati nel bucket S3 verranno automaticamente acquisiti dall'applicazione OPEA per Intel AI for Enterprise RAG.

Nota: al momento della stesura di questo documento, sono supportati i seguenti tipi di file: PDF, HTML, TXT, DOC, DOCX, PPT, PPTX, MD, XML, JSON, JSONL, YAML, XLS, XLSX, CSV, TIFF, JPG, JPEG, PNG e SVG.

È possibile utilizzare l'interfaccia utente OPEA per Intel AI for Enterprise RAG per confermare che i file siano stati acquisiti correttamente. Per maggiori dettagli, fare riferimento alla documentazione dell'interfaccia utente Intel AI for Enterprise RAG. Tieni presente che l'applicazione potrebbe impiegare del tempo per acquisire un numero elevato di file.

*Opzione 2: caricamento tramite l'interfaccia utente Se devi acquisire solo un numero limitato di file, puoi farlo utilizzando l'interfaccia utente OPEA per Intel AI for Enterprise RAG. Per maggiori dettagli, fare riferimento alla documentazione dell'interfaccia utente Intel AI for Enterprise RAG.

Figura 9 - Interfaccia utente per l'acquisizione dei dati.

Ora puoi "chattare" con l'applicazione OPEA per Intel AI for Enterprise RAG utilizzando l'interfaccia utente della chat inclusa. Quando risponde alle tue domande, l'applicazione esegue un RAG utilizzando i file ingeriti. Ciò significa che l'applicazione cerca automaticamente le informazioni rilevanti nei file ingeriti e le incorpora quando risponde alle tue domande.