Skip to main content
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Creare una knowledge base GenAI

Collaboratori netapp-mwallis
PDF

Dopo aver implementato l'infrastruttura ai e identificato le origini dei dati che integrerai nella tua knowledge base dai datastore FSX per ONTAP, sarai pronto a costruire la knowledge base utilizzando la farm di carichi di lavoro. Nell'ambito di questo passaggio, definirai anche le caratteristiche dell'ai e creerai degli spunti di conversazione.

Prima di procedere, accertarsi che l'ambiente soddisfi "requisiti"le basi di conoscenza per .

A proposito di questa attività

Le knowledge base hanno due modalità di integrazione dei dati: Modalità pubblica e modalità aziendale.

Modalità pubblica

È possibile utilizzare una knowledge base senza integrare le origini dati dell'organizzazione. In questo caso, un'applicazione integrata con la knowledge base fornirà i risultati solo dalle informazioni disponibili pubblicamente su Internet. Questa operazione è nota come integrazione modalità pubblica.

Modalità Enterprise

Nella maggior parte dei casi, è necessario integrare le origini dati dell'organizzazione nella knowledge base. Questa è nota come integrazione Enterprise mode perché fornisce informazioni dall'azienda.

Le fonti di dati dell'organizzazione possono contenere informazioni personali identificabili (PII). Per proteggere queste informazioni sensibili, è possibile abilitare data Guardrails durante la creazione e la configurazione di knowledge base. Le barriere di protezione dei dati, basate sulla classificazione BlueXP , identificano e maschera PII, rendendolo inaccessibile e irrecuperabile.

"Scopri di più sulla classificazione BlueXP".

Nota La fabbrica di carichi di lavoro BlueXP  per GenAI non maschera le informazioni personali sensibili (SPii). Per ulteriori informazioni su questo tipo di dati, fare riferimento alla "tipi di dati personali sensibili".
Nota Le barriere di sicurezza dei dati possono essere attivate o disattivate in qualsiasi momento. Se si cambia l'abilitazione dei data Guardrails, workload Factory analizza da zero l'intera knowledge base, il che implica un costo.

Creare e configurare la knowledge base

La knowledge base definisce caratteristiche quali i modelli di intelligenza artificiale Bedrock e il formato di inclusione che si desidera utilizzare per creare la propria knowledge base.

Fasi

  1. Accedere a workload Factory utilizzando uno dei "esperienze di console".

  2. Nella sezione carichi di lavoro ai, selezionare Deploy & Manage.

  3. Dalla scheda Knowledge base e connettori, selezionare il menu a discesa Crea nuovo e scegliere NetApp Genai Knowledge base per Bedrock.

  4. Nella pagina Definisci Knowledge base, configurare le impostazioni della Knowledge base:

    1. Nome: Immettere il nome che si desidera utilizzare per la knowledge base.

    2. Descrizione: Inserire una descrizione dettagliata per la base di conoscenza.

    3. Modello di incorporazione: Il modello di incorporazione definisce come i dati verranno convertiti in incorporazioni vettoriali per la base di conoscenza. Workload Factory supporta i seguenti modelli:

      • Titano embedding G1 - testo

      • Titan Embedding testo v2

      • Incorporazioni multimodali Titan G1

      • Incorporare l'inglese

      • Incorpora multilingue

        Si noti che è necessario aver già attivato il modello di inclusione da Amazon Bedrock.

      "Scopri di più su Amazon Titan"

    4. Modello chat: Scegli tra i vari modelli di chat integrati in Amazon Bedrock. Nota: È necessario aver già attivato il modello di chat da Amazon Bedrock.

    5. Riclassificazione: attiva o disattiva la riclassificazione, che può migliorare la pertinenza e la qualità dei risultati delle query. Scegli un modello di chat standard o un modello di riclassificazione specializzato da utilizzare per la riclassificazione. Le opzioni del modello di riclassificazione vengono visualizzate solo se disponibili nella tua regione.

    6. Data Guardrails: Scegliere se attivare o disattivare le barriere di protezione dei dati. "Scopri le barriere di protezione dei dati, basate sulla classificazione BlueXP ".

      Per abilitare le barriere di protezione dei dati, è necessario soddisfare i seguenti prerequisiti.

      • Per comunicare con la classificazione BlueXP  è necessario un account di servizio. Per la creazione dell'account di servizio, è necessario disporre del ruolo Amministratore organizzazione nell'account di locazione BlueXP . Un membro che ha il ruolo di amministratore dell'organizzazione può completare tutte le azioni in BlueXP . "Scopri come aggiungere un ruolo a un membro in BlueXP "

      • Il motore ai deve avere accesso a "Endpoint API BlueXP ".

      • È necessario effettuare le seguenti operazioni come descritto in "Documentazione sulla classificazione BlueXP":

        1. Crea un connettore BlueXP

        2. Accertarsi che l'ambiente in uso soddisfi i prerequisiti

        3. Implementare la classificazione BlueXP

    Nota La funzione data Guardrails non è supportata quando si acquisiscono file di dati strutturati come CSV, JSON, JSONP o Parquet.

  5. Avviatori di conversazione: Scegliere se si desidera fornire fino a quattro prompt iniziali di conversazione che vengono visualizzati agli utenti che interagiscono con un chatbot che utilizza questa knowledge base. Si consiglia di attivare questa impostazione.

    Se si attivano gli avviatori di conversazione, per impostazione predefinita viene selezionata la modalità automatica. La "modalità manuale" può essere attivata solo dopo aver aggiunto origini dati alla knowledge base. "Scopri come modificare le impostazioni della Knowledge base".

  6. File system FSX per ONTAP: Quando si definisce una nuova knowledge base, workload Factory crea un nuovo volume Amazon FSX per NetApp ONTAP per memorizzarlo. Scegli un nome di file system esistente e una SVM (detti anche Storage VM) dove verrà creato il nuovo volume.

  7. Criterio istantanea: Scegliere un criterio istantanea dall'elenco dei criteri esistenti definiti nell'inventario di archiviazione della fabbrica del carico di lavoro. Gli snapshot ricorrenti della Knowledge base verranno creati automaticamente con una frequenza basata sulla policy di snapshot selezionata.

  8. S3 Bucket: se i risultati delle query del chatbot contengono dati strutturati, GenAI può archiviare i risultati in un bucket S3. Per utilizzare questa funzionalità, abilita l'impostazione Attiva bucket S3 e scegli dall'elenco un bucket S3 associato al tuo account. Quando questi risultati vengono archiviati in un bucket S3, è possibile scaricarli utilizzando il collegamento per il download all'interno della sessione di chat.

    Se la policy di snapshot necessaria non esiste, è possibile "creare un criterio di snapshot" sulla VM di storage che contiene il volume.

  9. Selezionare Crea knowledge base per aggiungere la knowledge base a GenAI.

    Durante la creazione della knowledge base viene visualizzato un indicatore di avanzamento.

    Una volta creata la knowledge base, è possibile aggiungere un'origine dati alla nuova knowledge base o terminare il processo senza aggiungere un'origine dati. Si consiglia di selezionare Aggiungi origine dati e aggiungere una o più origini dati.

Aggiungere fonti di dati alla knowledge base

È possibile aggiungere una o più origini dati per popolare la knowledge base con i dati dell'organizzazione.

A proposito di questa attività

Il numero massimo di origini dati supportate è 10.

Fasi

  1. Dopo aver selezionato Aggiungi origine dati, seleziona il tipo di origine dati che desideri aggiungere:

    • Aggiungi il file system FSx per ONTAP (utilizza i file da un volume FSx per ONTAP esistente)

    • Aggiungi file system (utilizza file da una condivisione SMB o NFS generica)

Aggiungere un file system FSx per ONTAP

  1. Selezionare un file system: Selezionare il file system FSX per ONTAP in cui risiedono i file di origine dati e selezionare Avanti.

  2. Selezionare un volume: Selezionare il volume in cui risiedono i file di origine dati e selezionare Avanti.

    Quando si selezionano i file archiviati utilizzando il protocollo SMB, è necessario immettere le informazioni di Active Directory, che includono il dominio, l'indirizzo IP, il nome utente e la password.

  3. Selezionare un'origine dati: Selezionare la posizione dell'origine dati in base alla posizione in cui sono stati salvati i file. Può trattarsi di un intero volume o solo di una cartella o sottocartella specifica del volume e selezionare Avanti.

  4. Configurazioni: Configurare il modo in cui l'origine dati acquisisce le informazioni dai file e quali file include nelle scansioni:

    • Definisci origine dati: Nella sezione strategia di Chunking, definisci il modo in cui il motore GenAI divide il contenuto dell'origine dati in blocchi quando l'origine dati è integrata con una knowledge base. È possibile scegliere una delle seguenti strategie:

      • Chunking a più frasi: Organizza le informazioni dalla vostra origine dati in blocchi definiti dalle frasi. È possibile scegliere quante frasi compongono ciascun blocco (fino a 100).

      • Chunking basato su sovrapposizione: Organizza le informazioni dall'origine dati in blocchi definiti dai caratteri che possono sovrapporsi a blocchi adiacenti. È possibile scegliere la dimensione di ciascun frammento in caratteri e la sovrapposizione di ciascun frammento con i frammenti adiacenti. È possibile configurare una dimensione del frammento compresa tra 50 e 3000 caratteri e una percentuale di sovrapposizione compresa tra 1 e 99%.

        Nota La scelta di un'elevata percentuale di sovrapposizione può aumentare notevolmente i requisiti di archiviazione con solo lievi miglioramenti nella precisione di recupero.

    • Filtraggio dei file: Configurare i file da includere nelle scansioni:

      • Nella sezione supporto tipi di file, scegliere di includere tutti i tipi di file o selezionare singoli tipi di file da includere nelle scansioni dell'origine dati.

        Se si includono immagini o file PDF, BlueXP  workload factory per GenAI analizza il testo nelle immagini (incluse le immagini nei documenti PDF) e ciò comporta un costo maggiore.

      Quando si includono dati di testo da immagini, GenAI non è in grado di mascherare informazioni di identificazione personale (PII) dall'immagine, poiché i dati di testo acquisiti vengono inviati dall'ambiente ad AWS. Tuttavia, una volta memorizzati i dati, tutte le PII vengono mascherate nel database GenAI.

    Nota La scelta di includere i file di immagine nelle scansioni è correlata al modello di chat della Knowledge base. Se si includono file di immagine nelle scansioni, il modello di chat deve supportare le immagini. Se qui sono selezionati i tipi di file immagine, non è possibile passare dalla knowledge base a un modello di chat che non supporta i file immagine.

    • Nella sezione filtro ora modifica file, scegliere di attivare o disattivare l'inclusione dei file in base al tempo di modifica. Se si attiva il filtraggio dell'ora di modifica, selezionare un intervallo di date dall'elenco.

      Nota Se si includono file basati su un intervallo di date di modifica, non appena l'intervallo di date non è soddisfatto (i file non sono stati modificati entro l'intervallo di date specificato), i file saranno esclusi dalla scansione periodica e l'origine dati non includerà questi file.

  5. Nella sezione Permission Aware, disponibile solo quando l'origine dati selezionata si trova su un volume che utilizza il protocollo SMB, è possibile attivare o disattivare le risposte in base alle autorizzazioni:

    • Enabled: Gli utenti del chatbot che accedono a questa knowledge base riceveranno solo risposte alle query provenienti da origini dati a cui hanno accesso.

    • Disabled: Gli utenti del chatbot riceveranno le risposte utilizzando il contenuto di tutte le origini dati integrate.

  6. Selezionare Aggiungi per aggiungere questa origine dati alla knowledge base.

Aggiungere un file system NFS generico

  1. Seleziona un file system: immetti l'indirizzo IP o il nome di dominio completo (FQDN) dell'host del file system in cui risiedono i file di origine dati, scegli il protocollo NFS per la condivisione di rete e seleziona Avanti.

  2. Selezionare un'origine dati: Selezionare la posizione dell'origine dati in base alla posizione in cui sono stati salvati i file. Può trattarsi di un intero volume o solo di una cartella o sottocartella specifica del volume e selezionare Avanti.

    Nota In alcuni casi, potrebbe essere necessario inserire manualmente il nome dell'esportazione NFS e selezionare Recupera directory per visualizzare le directory disponibili. È possibile scegliere di selezionare l'intera esportazione o solo cartelle specifiche.

  3. Configurazioni: Configurare il modo in cui l'origine dati acquisisce le informazioni dai file e quali file include nelle scansioni:

    • Definisci origine dati: Nella sezione strategia di Chunking, definisci il modo in cui il motore GenAI divide il contenuto dell'origine dati in blocchi quando l'origine dati è integrata con una knowledge base. È possibile scegliere una delle seguenti strategie:

      • Chunking a più frasi: Organizza le informazioni dalla vostra origine dati in blocchi definiti dalle frasi. È possibile scegliere quante frasi compongono ciascun blocco (fino a 100).

      • Chunking basato su sovrapposizione: Organizza le informazioni dall'origine dati in blocchi definiti dai caratteri che possono sovrapporsi a blocchi adiacenti. È possibile scegliere la dimensione di ciascun frammento in caratteri e la sovrapposizione di ciascun frammento con i frammenti adiacenti. È possibile configurare una dimensione del frammento compresa tra 50 e 3000 caratteri e una percentuale di sovrapposizione compresa tra 1 e 99%.

        Nota La scelta di un'elevata percentuale di sovrapposizione può aumentare notevolmente i requisiti di archiviazione con solo lievi miglioramenti nella precisione di recupero.

    • Filtraggio dei file: Configurare i file da includere nelle scansioni:

      • Nella sezione supporto tipi di file, scegliere di includere tutti i tipi di file o selezionare singoli tipi di file da includere nelle scansioni dell'origine dati.

        Se si includono immagini o file PDF, BlueXP  workload factory per GenAI analizza il testo nelle immagini (incluse le immagini nei documenti PDF) e ciò comporta un costo maggiore.

      Quando si includono dati di testo da immagini, GenAI non è in grado di mascherare informazioni di identificazione personale (PII) dall'immagine, poiché i dati di testo acquisiti vengono inviati dall'ambiente ad AWS. Tuttavia, una volta memorizzati i dati, tutte le PII vengono mascherate nel database GenAI.

    Nota La scelta di includere i file di immagine nelle scansioni è correlata al modello di chat della Knowledge base. Se si includono file di immagine nelle scansioni, il modello di chat deve supportare le immagini. Se qui sono selezionati i tipi di file immagine, non è possibile passare dalla knowledge base a un modello di chat che non supporta i file immagine.

    • Nella sezione filtro ora modifica file, scegliere di attivare o disattivare l'inclusione dei file in base al tempo di modifica. Se si attiva il filtraggio dell'ora di modifica, selezionare un intervallo di date dall'elenco.

      Nota Se si includono file basati su un intervallo di date di modifica, non appena l'intervallo di date non è soddisfatto (i file non sono stati modificati entro l'intervallo di date specificato), i file saranno esclusi dalla scansione periodica e l'origine dati non includerà questi file.

  4. Seleziona Aggiungi origine dati per aggiungere questa origine dati alla tua knowledge base.

Aggiungere un file system SMB generico

  1. Seleziona file system:

    1. Inserisci l'indirizzo IP o il nome di dominio completo (FQDN) dell'host del file system in cui risiedono i file di origine dati.

    2. Selezionare il protocollo SMB per la condivisione di rete.

    3. Immettere le informazioni di Active Directory, tra cui dominio, indirizzo IP, nome utente e password.

    4. Selezionare Avanti.

  2. Selezionare un'origine dati: Selezionare la posizione dell'origine dati in base alla posizione in cui sono stati salvati i file. Può trattarsi di un intero volume o solo di una cartella o sottocartella specifica del volume e selezionare Avanti.

    Nota In alcuni casi, potrebbe essere necessario inserire manualmente il nome della condivisione SMB e selezionare Recupera directory per visualizzare le directory disponibili. È possibile scegliere di selezionare l'intera condivisione o solo cartelle specifiche.

  3. Configurazioni: Configurare il modo in cui l'origine dati acquisisce le informazioni dai file e quali file include nelle scansioni:

    • Definisci origine dati: Nella sezione strategia di Chunking, definisci il modo in cui il motore GenAI divide il contenuto dell'origine dati in blocchi quando l'origine dati è integrata con una knowledge base. È possibile scegliere una delle seguenti strategie:

      • Chunking a più frasi: Organizza le informazioni dalla vostra origine dati in blocchi definiti dalle frasi. È possibile scegliere quante frasi compongono ciascun blocco (fino a 100).

      • Chunking basato su sovrapposizione: Organizza le informazioni dall'origine dati in blocchi definiti dai caratteri che possono sovrapporsi a blocchi adiacenti. È possibile scegliere la dimensione di ciascun frammento in caratteri e la sovrapposizione di ciascun frammento con i frammenti adiacenti. È possibile configurare una dimensione del frammento compresa tra 50 e 3000 caratteri e una percentuale di sovrapposizione compresa tra 1 e 99%.

        Nota La scelta di un'elevata percentuale di sovrapposizione può aumentare notevolmente i requisiti di archiviazione con solo lievi miglioramenti nella precisione di recupero.

    • Risposte basate sull'autorizzazione: abilita o disabilita le risposte basate sull'autorizzazione:

      • Enabled: Gli utenti del chatbot che accedono a questa knowledge base riceveranno solo risposte alle query provenienti da origini dati a cui hanno accesso.

      • Disabled: Gli utenti del chatbot riceveranno le risposte utilizzando il contenuto di tutte le origini dati integrate.

    • Filtraggio dei file: Configurare i file da includere nelle scansioni:

      • Nella sezione supporto tipi di file, scegliere di includere tutti i tipi di file o selezionare singoli tipi di file da includere nelle scansioni dell'origine dati.

        Se si includono immagini o file PDF, BlueXP  workload factory per GenAI analizza il testo nelle immagini (incluse le immagini nei documenti PDF) e ciò comporta un costo maggiore.

      Quando si includono dati di testo da immagini, GenAI non è in grado di mascherare informazioni di identificazione personale (PII) dall'immagine, poiché i dati di testo acquisiti vengono inviati dall'ambiente ad AWS. Tuttavia, una volta memorizzati i dati, tutte le PII vengono mascherate nel database GenAI.

    Nota La scelta di includere i file di immagine nelle scansioni è correlata al modello di chat della Knowledge base. Se si includono file di immagine nelle scansioni, il modello di chat deve supportare le immagini. Se qui sono selezionati i tipi di file immagine, non è possibile passare dalla knowledge base a un modello di chat che non supporta i file immagine.

    • Nella sezione filtro ora modifica file, scegliere di attivare o disattivare l'inclusione dei file in base al tempo di modifica. Se si attiva il filtraggio dell'ora di modifica, selezionare un intervallo di date dall'elenco.

      Nota Se si includono file basati su un intervallo di date di modifica, non appena l'intervallo di date non è soddisfatto (i file non sono stati modificati entro l'intervallo di date specificato), i file saranno esclusi dalla scansione periodica e l'origine dati non includerà questi file.

  4. Seleziona Aggiungi origine dati per aggiungere questa origine dati alla tua knowledge base.

Risultato

L'origine dati inizia a essere integrata nella tua knowledge base. Lo stato cambia da "incorporazione" a "incorporata" quando l'origine dati è completamente incorporata.

Dopo aver aggiunto una singola origine dati alla knowledge base, puoi testarla localmente nella finestra del simulatore di chatbot ed apportare le modifiche necessarie prima di rendere il chatbot disponibile per gli utenti. È inoltre possibile seguire la stessa procedura per aggiungere ulteriori origini dati alla knowledge base.