Skip to main content
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Creare una knowledge base GenAI

Collaboratori netapp-mwallis
PDF

Dopo aver distribuito l'infrastruttura di intelligenza artificiale e identificato le origini dati che integrerai nella tua knowledge base dai tuoi datastore FSx for ONTAP , sei pronto per creare la knowledge base utilizzando Workload Factory. In questa fase, definirai anche le caratteristiche dell'IA e creerai spunti di conversazione.

Prima di procedere, accertarsi che l'ambiente soddisfi "requisiti"le basi di conoscenza per .

A proposito di questa attività

Le knowledge base hanno due modalità di integrazione dei dati: Modalità pubblica e modalità aziendale.

Modalità pubblica

È possibile utilizzare una knowledge base senza integrare le origini dati dell'organizzazione. In questo caso, un'applicazione integrata con la knowledge base fornirà i risultati solo dalle informazioni disponibili pubblicamente su Internet. Questa operazione è nota come integrazione modalità pubblica.

Modalità Enterprise

Nella maggior parte dei casi, è necessario integrare le origini dati dell'organizzazione nella knowledge base. Questa è nota come integrazione Enterprise mode perché fornisce informazioni dall'azienda.

Le fonti di dati della tua organizzazione potrebbero contenere informazioni di identificazione personale (PII). Per salvaguardare queste informazioni sensibili, è possibile abilitare i data guardrail durante la creazione e la configurazione delle knowledge base. I Data Guardrails, basati sulla classificazione dei dati NetApp , identificano e mascherano le informazioni personali identificabili, rendendole inaccessibili e irrecuperabili.

"Scopri di più sulla classificazione dei dati NetApp" .

Nota NetApp Workload Factory per GenAI non maschera le informazioni personali sensibili (SPii). Fare riferimento a"tipi di dati personali sensibili" per maggiori informazioni su questo tipo di dati.
Nota I controlli di sicurezza dei dati possono essere attivati o disattivati in qualsiasi momento. Se si modifica l'abilitazione dei Data Guardrails, Workload Factory esegue la scansione dell'intera knowledge base da zero, il che comporta un costo.

Creare e configurare la knowledge base

La knowledge base definisce caratteristiche quali i modelli di intelligenza artificiale Bedrock e il formato di inclusione che si desidera utilizzare per creare la propria knowledge base.

Fasi

  1. Accedi a Workload Factory utilizzando uno dei"esperienze di console" .

  2. Nella sezione carichi di lavoro ai, selezionare Deploy & Manage.

  3. Dal menu Knowledge base e connettori, seleziona il menu a discesa Crea nuovo e scegli * Knowledge base NetApp GenAI per Bedrock*.

  4. Nella pagina Crea knowledge base NetApp GenAI, configura le impostazioni della knowledge base:

Dettagli della knowledge base

  1. Nome: Immettere il nome che si desidera utilizzare per la knowledge base.

  2. Descrizione: Inserire una descrizione dettagliata per la base di conoscenza.

  3. Bedrock: seleziona la regione in cui Amazon Bedrock è disponibile per il tuo account AWS.

Ingestione

  1. Modello di incorporamento:

    • Scegliere un modello di incorporamento da utilizzare per la knowledge base. Il modello di incorporamento definisce il modo in cui i dati verranno convertiti in incorporamenti vettoriali per la knowledge base. Workload Factory supporta i seguenti modelli:

    • Titano embedding G1 - testo

    • Titan Embedding testo v2

    • Incorporazioni multimodali Titan G1

    • Incorporare l'inglese

    • Incorpora multilingue

      Si noti che è necessario aver già attivato il modello di inclusione da Amazon Bedrock.

    "Scopri di più su Amazon Titan"

    • Se applicabile, selezionare il tipo di inferenza che corrisponde alla configurazione del modello di incorporamento selezionato.

  2. Protezioni dati: scegli se abilitare o disabilitare le protezioni dati. "Scopri di più sulle protezioni dei dati, basate sulla classificazione dei dati NetApp" .

    Per abilitare le barriere di protezione dei dati, è necessario soddisfare i seguenti prerequisiti.

    Nota La funzione data Guardrails non è supportata quando si acquisiscono file di dati strutturati come CSV, JSON, JSONP o Parquet.
Impostazioni di chat e recupero

  1. Modello di chat:

    • Scegli tra i vari modelli di chat integrati in Amazon Bedrock. Tieni presente che devi aver già abilitato il modello di chat di Amazon Bedrock.

    • Se applicabile, selezionare il tipo di inferenza che corrisponde alla configurazione del modello selezionato.

  2. Impostazioni chat:

    • Scegli una temperatura per il chatbot per configurare la casualità e la creatività delle risposte. Una temperatura più bassa determina risposte più prevedibili, mentre una temperatura più alta determina risposte più varie.

    • Scegli una lunghezza massima della risposta per configurare il livello di dettaglio delle risposte. Risposte più lunghe utilizzano più token di risposta e possono comportare costi più elevati.

  3. Modalità di riflessione: quando la modalità di riflessione è abilitata, il chatbot impiegherà più tempo per elaborare le query e i risultati saranno solitamente più accurati. Quando si attiva la modalità di pensiero, è possibile controllare quanti token di ragionamento vengono utilizzati durante la generazione dei risultati. L'utilizzo di più token di ragionamento può portare a risposte più precise, ma potrebbe comportare un costo maggiore.

  4. Riclassificazione: abilita o disabilita la riclassificazione, che può migliorare la pertinenza e la qualità dei risultati delle query. Scegli un modello di chat standard o un modello di riclassificazione specializzato da utilizzare per la riclassificazione. Le opzioni del modello Reranker vengono visualizzate solo se disponibili nella tua regione. Selezionare il tipo di inferenza che corrisponde alla configurazione del modello selezionato.

  5. Avviatori di conversazione: Scegliere se si desidera fornire fino a quattro prompt iniziali di conversazione che vengono visualizzati agli utenti che interagiscono con un chatbot che utilizza questa knowledge base. Si consiglia di attivare questa impostazione.

    Se si attivano gli avviatori di conversazione, per impostazione predefinita viene selezionata la modalità automatica. La "modalità manuale" può essere attivata solo dopo aver aggiunto origini dati alla knowledge base. "Scopri come modificare le impostazioni della Knowledge base".

Definizioni di archiviazione

  1. *File system FSx for ONTAP *: quando si definisce una nuova knowledge base, Workload Factory crea un nuovo volume Amazon FSx for NetApp ONTAP per archiviarla. Selezionare un nome di file system esistente e una SVM (chiamata anche VM di archiviazione) in cui verrà creato il nuovo volume.

  2. Criterio snapshot: scegli un criterio snapshot dall'elenco dei criteri esistenti definiti nell'inventario di archiviazione di Workload Factory. Gli snapshot ricorrenti della knowledge base verranno creati automaticamente con una frequenza basata sui criteri di snapshot selezionati.

  3. S3 Bucket: se i risultati delle query del chatbot contengono dati strutturati, GenAI può archiviare i risultati in un bucket S3. Per utilizzare questa funzionalità, abilita l'impostazione Attiva bucket S3 e scegli dall'elenco un bucket S3 associato al tuo account. Quando questi risultati vengono archiviati in un bucket S3, è possibile scaricarli utilizzando il collegamento per il download all'interno della sessione di chat.

    Se la policy di snapshot necessaria non esiste, è possibile "creare un criterio di snapshot" sulla VM di storage che contiene il volume.

  4. Selezionare Crea knowledge base per aggiungere la knowledge base a GenAI.

    Durante la creazione della knowledge base viene visualizzato un indicatore di avanzamento.

    Una volta creata la knowledge base, è possibile aggiungere un'origine dati alla nuova knowledge base o terminare il processo senza aggiungere un'origine dati. Si consiglia di selezionare Aggiungi origine dati e aggiungere una o più origini dati.

Aggiungere fonti di dati alla knowledge base

È possibile aggiungere una o più origini dati per popolare la knowledge base con i dati dell'organizzazione.

A proposito di questa attività

Il numero massimo di origini dati supportate è 10.

Fasi

  1. Dopo aver selezionato Aggiungi origine dati, seleziona il tipo di origine dati che desideri aggiungere:

    • Aggiungi il file system FSx per ONTAP (utilizza i file da un volume FSx per ONTAP esistente)

    • Aggiungi file system (utilizza file da una condivisione SMB o NFS generica)

Aggiungere un file system FSx per ONTAP

  1. Selezionare un file system: Selezionare il file system FSX per ONTAP in cui risiedono i file di origine dati e selezionare Avanti.

  2. Selezionare un volume: Selezionare il volume in cui risiedono i file di origine dati e selezionare Avanti.

    Quando si selezionano i file archiviati utilizzando il protocollo SMB, è necessario immettere le informazioni di Active Directory, che includono il dominio, l'indirizzo IP, il nome utente e la password.

  3. Selezionare un'origine dati: Selezionare la posizione dell'origine dati in base alla posizione in cui sono stati salvati i file. Può trattarsi di un intero volume o solo di una cartella o sottocartella specifica del volume e selezionare Avanti.

  4. Configurazioni: Configurare il modo in cui l'origine dati acquisisce le informazioni dai file e quali file include nelle scansioni:

    • Definisci origine dati: Nella sezione strategia di Chunking, definisci il modo in cui il motore GenAI divide il contenuto dell'origine dati in blocchi quando l'origine dati è integrata con una knowledge base. È possibile scegliere una delle seguenti strategie:

      • Chunking a più frasi: Organizza le informazioni dalla vostra origine dati in blocchi definiti dalle frasi. È possibile scegliere quante frasi compongono ciascun blocco (fino a 100).

      • Chunking basato su sovrapposizione: Organizza le informazioni dall'origine dati in blocchi definiti dai caratteri che possono sovrapporsi a blocchi adiacenti. È possibile scegliere la dimensione di ciascun frammento in caratteri e la sovrapposizione di ciascun frammento con i frammenti adiacenti. È possibile configurare una dimensione del frammento compresa tra 50 e 3000 caratteri e una percentuale di sovrapposizione compresa tra 1 e 99%.

        Nota La scelta di un'elevata percentuale di sovrapposizione può aumentare notevolmente i requisiti di archiviazione con solo lievi miglioramenti nella precisione di recupero.

    • Filtraggio dei file: Configurare i file da includere nelle scansioni:

      • Nella sezione supporto tipi di file, scegliere di includere tutti i tipi di file o selezionare singoli tipi di file da includere nelle scansioni dell'origine dati.

        Se si includono immagini o file PDF, NetApp Workload Factory per GenAI analizza il testo nelle immagini (incluse le immagini nei documenti PDF), con un costo maggiore.

      Quando si includono dati di testo da immagini, GenAI non è in grado di mascherare informazioni di identificazione personale (PII) dall'immagine, poiché i dati di testo acquisiti vengono inviati dall'ambiente ad AWS. Tuttavia, una volta memorizzati i dati, tutte le PII vengono mascherate nel database GenAI.

    Nota La scelta di includere i file di immagine nelle scansioni è correlata al modello di chat della Knowledge base. Se si includono file di immagine nelle scansioni, il modello di chat deve supportare le immagini. Se qui sono selezionati i tipi di file immagine, non è possibile passare dalla knowledge base a un modello di chat che non supporta i file immagine.

    • Nella sezione filtro ora modifica file, scegliere di attivare o disattivare l'inclusione dei file in base al tempo di modifica. Se si attiva il filtraggio dell'ora di modifica, selezionare un intervallo di date dall'elenco.

      Nota Se si includono file basati su un intervallo di date di modifica, non appena l'intervallo di date non è soddisfatto (i file non sono stati modificati entro l'intervallo di date specificato), i file saranno esclusi dalla scansione periodica e l'origine dati non includerà questi file.

  5. Nella sezione Permission Aware, disponibile solo quando l'origine dati selezionata si trova su un volume che utilizza il protocollo SMB, è possibile attivare o disattivare le risposte in base alle autorizzazioni:

    • Enabled: Gli utenti del chatbot che accedono a questa knowledge base riceveranno solo risposte alle query provenienti da origini dati a cui hanno accesso.

    • Disabled: Gli utenti del chatbot riceveranno le risposte utilizzando il contenuto di tutte le origini dati integrate.

  6. Selezionare Aggiungi per aggiungere questa origine dati alla knowledge base.

Aggiungere un file system NFS generico

  1. Seleziona un file system: immetti l'indirizzo IP o il nome di dominio completo (FQDN) dell'host del file system in cui risiedono i file di origine dati, scegli il protocollo NFS per la condivisione di rete e seleziona Avanti.

  2. Selezionare un'origine dati: Selezionare la posizione dell'origine dati in base alla posizione in cui sono stati salvati i file. Può trattarsi di un intero volume o solo di una cartella o sottocartella specifica del volume e selezionare Avanti.

    Nota In alcuni casi, potrebbe essere necessario inserire manualmente il nome dell'esportazione NFS e selezionare Recupera directory per visualizzare le directory disponibili. È possibile scegliere di selezionare l'intera esportazione o solo cartelle specifiche.

  3. Configurazioni: Configurare il modo in cui l'origine dati acquisisce le informazioni dai file e quali file include nelle scansioni:

    • Definisci origine dati: Nella sezione strategia di Chunking, definisci il modo in cui il motore GenAI divide il contenuto dell'origine dati in blocchi quando l'origine dati è integrata con una knowledge base. È possibile scegliere una delle seguenti strategie:

      • Chunking a più frasi: Organizza le informazioni dalla vostra origine dati in blocchi definiti dalle frasi. È possibile scegliere quante frasi compongono ciascun blocco (fino a 100).

      • Chunking basato su sovrapposizione: Organizza le informazioni dall'origine dati in blocchi definiti dai caratteri che possono sovrapporsi a blocchi adiacenti. È possibile scegliere la dimensione di ciascun frammento in caratteri e la sovrapposizione di ciascun frammento con i frammenti adiacenti. È possibile configurare una dimensione del frammento compresa tra 50 e 3000 caratteri e una percentuale di sovrapposizione compresa tra 1 e 99%.

        Nota La scelta di un'elevata percentuale di sovrapposizione può aumentare notevolmente i requisiti di archiviazione con solo lievi miglioramenti nella precisione di recupero.

    • Filtraggio dei file: Configurare i file da includere nelle scansioni:

      • Nella sezione supporto tipi di file, scegliere di includere tutti i tipi di file o selezionare singoli tipi di file da includere nelle scansioni dell'origine dati.

        Se si includono immagini o file PDF, NetApp Workload Factory per GenAI analizza il testo nelle immagini (incluse le immagini nei documenti PDF), con un costo maggiore.

      Quando si includono dati di testo da immagini, GenAI non è in grado di mascherare informazioni di identificazione personale (PII) dall'immagine, poiché i dati di testo acquisiti vengono inviati dall'ambiente ad AWS. Tuttavia, una volta memorizzati i dati, tutte le PII vengono mascherate nel database GenAI.

    Nota La scelta di includere i file di immagine nelle scansioni è correlata al modello di chat della Knowledge base. Se si includono file di immagine nelle scansioni, il modello di chat deve supportare le immagini. Se qui sono selezionati i tipi di file immagine, non è possibile passare dalla knowledge base a un modello di chat che non supporta i file immagine.

    • Nella sezione filtro ora modifica file, scegliere di attivare o disattivare l'inclusione dei file in base al tempo di modifica. Se si attiva il filtraggio dell'ora di modifica, selezionare un intervallo di date dall'elenco.

      Nota Se si includono file basati su un intervallo di date di modifica, non appena l'intervallo di date non è soddisfatto (i file non sono stati modificati entro l'intervallo di date specificato), i file saranno esclusi dalla scansione periodica e l'origine dati non includerà questi file.

  4. Seleziona Aggiungi origine dati per aggiungere questa origine dati alla tua knowledge base.

Aggiungere un file system SMB generico

  1. Seleziona file system:

    1. Inserisci l'indirizzo IP o il nome di dominio completo (FQDN) dell'host del file system in cui risiedono i file di origine dati.

    2. Selezionare il protocollo SMB per la condivisione di rete.

    3. Immettere le informazioni di Active Directory, tra cui dominio, indirizzo IP, nome utente e password.

    4. Selezionare Avanti.

  2. Selezionare un'origine dati: Selezionare la posizione dell'origine dati in base alla posizione in cui sono stati salvati i file. Può trattarsi di un intero volume o solo di una cartella o sottocartella specifica del volume e selezionare Avanti.

    Nota In alcuni casi, potrebbe essere necessario inserire manualmente il nome della condivisione SMB e selezionare Recupera directory per visualizzare le directory disponibili. È possibile scegliere di selezionare l'intera condivisione o solo cartelle specifiche.

  3. Configurazioni: Configurare il modo in cui l'origine dati acquisisce le informazioni dai file e quali file include nelle scansioni:

    • Definisci origine dati: Nella sezione strategia di Chunking, definisci il modo in cui il motore GenAI divide il contenuto dell'origine dati in blocchi quando l'origine dati è integrata con una knowledge base. È possibile scegliere una delle seguenti strategie:

      • Chunking a più frasi: Organizza le informazioni dalla vostra origine dati in blocchi definiti dalle frasi. È possibile scegliere quante frasi compongono ciascun blocco (fino a 100).

      • Chunking basato su sovrapposizione: Organizza le informazioni dall'origine dati in blocchi definiti dai caratteri che possono sovrapporsi a blocchi adiacenti. È possibile scegliere la dimensione di ciascun frammento in caratteri e la sovrapposizione di ciascun frammento con i frammenti adiacenti. È possibile configurare una dimensione del frammento compresa tra 50 e 3000 caratteri e una percentuale di sovrapposizione compresa tra 1 e 99%.

        Nota La scelta di un'elevata percentuale di sovrapposizione può aumentare notevolmente i requisiti di archiviazione con solo lievi miglioramenti nella precisione di recupero.

    • Risposte basate sull'autorizzazione: abilita o disabilita le risposte basate sull'autorizzazione:

      • Enabled: Gli utenti del chatbot che accedono a questa knowledge base riceveranno solo risposte alle query provenienti da origini dati a cui hanno accesso.

      • Disabled: Gli utenti del chatbot riceveranno le risposte utilizzando il contenuto di tutte le origini dati integrate.

    • Filtraggio dei file: Configurare i file da includere nelle scansioni:

      • Nella sezione supporto tipi di file, scegliere di includere tutti i tipi di file o selezionare singoli tipi di file da includere nelle scansioni dell'origine dati.

        Se si includono immagini o file PDF, NetApp Workload Factory per GenAI analizza il testo nelle immagini (incluse le immagini nei documenti PDF), con un costo maggiore.

      Quando si includono dati di testo da immagini, GenAI non è in grado di mascherare informazioni di identificazione personale (PII) dall'immagine, poiché i dati di testo acquisiti vengono inviati dall'ambiente ad AWS. Tuttavia, una volta memorizzati i dati, tutte le PII vengono mascherate nel database GenAI.

    Nota La scelta di includere i file di immagine nelle scansioni è correlata al modello di chat della Knowledge base. Se si includono file di immagine nelle scansioni, il modello di chat deve supportare le immagini. Se qui sono selezionati i tipi di file immagine, non è possibile passare dalla knowledge base a un modello di chat che non supporta i file immagine.

    • Nella sezione filtro ora modifica file, scegliere di attivare o disattivare l'inclusione dei file in base al tempo di modifica. Se si attiva il filtraggio dell'ora di modifica, selezionare un intervallo di date dall'elenco.

      Nota Se si includono file basati su un intervallo di date di modifica, non appena l'intervallo di date non è soddisfatto (i file non sono stati modificati entro l'intervallo di date specificato), i file saranno esclusi dalla scansione periodica e l'origine dati non includerà questi file.

  4. Seleziona Aggiungi origine dati per aggiungere questa origine dati alla tua knowledge base.

Risultato

L'origine dati inizia a essere integrata nella tua knowledge base. Lo stato cambia da "incorporazione" a "incorporata" quando l'origine dati è completamente incorporata.

Dopo aver aggiunto una singola origine dati alla knowledge base, puoi testarla localmente nella finestra del simulatore di chatbot ed apportare le modifiche necessarie prima di rendere il chatbot disponibile per gli utenti. È inoltre possibile seguire la stessa procedura per aggiungere ulteriori origini dati alla knowledge base.