Avvio rapido Data-to-RAG per AI Data Engine
Passa da un sistema AI Data Engine (AIDE) appena implementato a un endpoint retrieval-augmented generation (RAG) funzionante utilizzando questo flusso di lavoro. Comprendi come gli amministratori di storage, i data engineer e i data scientist collaborano utilizzando ONTAP System Manager e AIDE Console.
-
Hai installato e aggiunto i Data compute nodes (DCN) al cluster ONTAP.
-
Hai installato e ottenuto la licenza AI Data Engine software per la vettorizzazione e guardrails.
-
Hai configurato "OpenID Connect (OIDC)" e mappato i ruoli di amministratore, data engineer e data scientist.
Definire l'ambito e la governance dei datiIn qualità di amministratore di storage o amministratore di sicurezza, desideri preparare l'ambiente in AIDE Console e ONTAP System Manager:
-
"Crea uno o più spazi di lavoro" da fonti di dati locali e remote.
-
"Configura classificatori e policy di protezione" in AIDE Console.
-
"Assegna l'accesso agli spazi di lavoro ai data engineer e ai data scientist".
Esplora metadati dello workspaceIn qualità di data engineer o data scientist, desideri esplorare i metadati del workspace utilizzando AIDE Console:
-
"Esplora i metadati del workspace" per comprendere i contenuti disponibili.
-
Definisci uno o più sottoinsiemi logici di dati che dovrebbero alimentare RAG (ad esempio, articoli di supporto, manuali di prodotto o note cliniche anonimizzate).
Creare e pubblicare una raccolta di datiIn qualità di data engineer o data scientist, vuoi trasformare il sottoinsieme scelto in una raccolta RAG-ready:
-
"Crea una raccolta di dati" dall'area di lavoro utilizzando i filtri selezionati.
-
"Pubblica la raccolta di dati" e monitorare l'indicizzazione finché non raggiunge
Readystato. -
Copia l'URI dell'endpoint di recupero per la raccolta scelta e fornisci agli data scientist o agli sviluppatori di applicazioni.
-
"Visualizza lo stato della raccolta di dati e l'impronta vettoriale" secondo necessità.