Definisci le tue policy Data Guardrails in AI Data Engine per il tuo data estate
Suggerisci modifiche
PDF
In qualità di proprietario di dati o di una piattaforma, utilizzi AI Data Engine (AIDE) Console per definire quali dati rientrano nell'ambito dell'AI, quali dati sono sempre off-limits e quali regole di sicurezza si applicano quando tali dati vengono utilizzati per la classificazione e la retrieval-augmented generation (RAG).
Utilizza queste procedure per definire tali policy in AIDE Console in modo che ONTAP System Manager possa applicarle a tutti i dati nei workspace.
-
Per creare e gestire policy globali, sono necessari i privilegi di amministratore di storage in AI Data Engine Console (
https://<cluster_management_ip>/console. -
Si dispone di un AIDE cluster con nodi di data compute distribuiti e funzionanti.
-
"OpenID Connect (OIDC)" è configurato e il tuo ruolo IdP è mappato a un ruolo di amministratore AIDE che consente la gestione delle policy sui dati.
-
La licenza del software AI Data Engine è installata in modo che le funzionalità guardrail e inferencing siano abilitate.
-
Esiste almeno un'area di lavoro oppure hai concordato con l'amministratore per capire quali origini dati (volumi) verranno utilizzate nelle aree di lavoro.
Comprendere i tipi di policy
AIDE Console espone questi tipi di policy che modellano il patrimonio dei tuoi dati:
-
Classificatori: abilita i classificatori per rilevare PII, problemi di sicurezza o altri modelli in tutte le aree di lavoro.
-
Categorie di classificazione: Raggruppa i classificatori in categorie di conformità per l'organizzazione e la gestione.
-
Guardrail policies: regole di sicurezza e redazione applicate al momento del recupero o dell'inferenza.
Non è possibile utilizzare ONTAP System Manager per creare o gestire queste Data Guardrails policy. Le legge e le applica solo quando un amministratore di storage le applica agli spazi di lavoro. Tutta la definizione e la manutenzione delle policy avviene nella AI Data Engine Console.
Abilita classificatori
I classificatori analizzano sia i metadati che il contenuto per annotare file e oggetti (ad esempio, rilevando PII o categorie sensibili). Prima che i classificatori possano essere eseguiti sui dati dell'area di lavoro, è necessario abilitarli in AI Data Engine Console.
Il comportamento del classificatore è controllato a livello globale in AIDE Console. Tutti i classificatori abilitati vengono eseguiti su ogni workspace. Poiché vengono applicati a livello globale, non possono essere abilitati o disabilitati per un singolo workspace. Possono essere abilitati o disabilitati solo a livello globale.
-
Nella AIDE Console, vai su Data Guardrails > Classifiers.
-
Seleziona una categoria di classificatori per visualizzare i classificatori che contiene.
-
Seleziona le caselle di controllo per i classificatori che desideri abilitare o seleziona tutte le righe per abilitare i classificatori in blocco.
-
Seleziona Abilita.
Utilizza l'opzione di selezione in blocco per abilitare più classificatori contemporaneamente. Ogni volta che abiliti un classificatore, viene attivato un aggiornamento in tutte le aree di lavoro. Per ridurre al minimo gli aggiornamenti non necessari, abilita più classificatori contemporaneamente anziché uno alla volta.
Tutti gli spazi di lavoro appena creati ed esistenti eseguono i classificatori abilitati durante l'elaborazione dei metadati.
I tag di classificazione vengono scritti nel catalogo dei metadati e diventano disponibili agli ingegneri dei dati per il filtraggio durante la creazione di raccolte di dati.
Gestisci le categorie del classificatore
I classificatori sono organizzati in categorie (ad esempio "PII" o "Financial data"). Le categorie aiutano a raggruppare i classificatori correlati per una gestione più semplice e una maggiore visibilità sulla conformità. È possibile utilizzare le categorie predefinite che AIDE fornisce o creare categorie personalizzate per soddisfare i requisiti di conformità.
-
Nella AIDE Console, vai su Data Guardrails > Classifiers.
-
Visualizza le categorie di classificazione esistenti. Esistono due principali categorie di classificazione:
-
Contenuto o dati: rileva particolari tipi di dati all'interno dei file.
-
Documento: classifica il tipo di documento in base al contenuto.
-
-
Determina se le sottocategorie del classificatore predefinito sono sufficienti o se desideri creare una tua sottocategoria.
-
Se si utilizza una sottocategoria di classificazione predefinita (ad esempio, General Privacy):
-
Seleziona il nome della categoria in Classifier categories per visualizzare i classificatori associati.
-
Esamina l'elenco dei classificatori.
-
Seleziona Aggiungi per trovare e aggiungere classificatori non elencati dall'elenco completo dei classificatori disponibili.
-
-
Se vuoi creare una categoria personalizzata, seleziona
.-
Aggiungi un nome univoco, una descrizione e assegna i classificatori disponibili alla categoria.
-
Seleziona Add
-
-
-
Per disabilitare un classificatore all'interno di una categoria, seleziona
per il classificatore e scegli Disabilita. Puoi anche selezionare tutte le righe per apportare modifiche di stato in blocco.
Le categorie organizzano i classificatori per la visibilità della conformità. Gli ingegneri dei dati possono utilizzare i tag di classificazione durante il filtraggio e la creazione di raccolte di dati.
Crea e gestisci le policy Data Guardrails
Le policy Guardrail determinano come AIDE risponde quando i classificatori rilevano contenuti sensibili o quando i prompt e i risultati del recupero violano le regole sui contenuti.
I comportamenti tipici dei Data Guardrails includono:
-
Mascheramento o oscuramento delle PII dai frammenti recuperati.
-
Blocco delle risposte che violano le regole di conformità.
-
Registrazione o etichettatura delle violazioni per audit.
Puoi creare e gestire le policy Data Guardrails solo in AIDE Console.
È possibile associare gli spazi di lavoro in ONTAP System Manager a una sola policy di guardrail alla volta.
-
In AI Data Engine Console, vai a Data Guardrails > Guardrail policies.
-
Seleziona Aggiungi.
-
Inserisci un nome e una descrizione che descrivano chiaramente l'ambito (ad esempio,
Customer PII redaction for support KB). -
Configura le condizioni guidate dal classificatore di dati richieste per l'attivazione del guardrail:
-
Definisci le condizioni per l'attivazione del guardrail:
-
Scegli la categoria del classificatore o il tipo di classificatore per ogni condizione.
-
Aggiungi e definisci condizioni aggiuntive secondo necessità.
-
Definisci criteri di ricerca specifici in Search, quindi seleziona Accept.
-
-
Definire le azioni per la policy Data Guardrails, come l'anonimizzazione dei contenuti o il blocco e la rimozione di un file da una raccolta di dati.
-
-
Seleziona l'area di lavoro a cui verrà applicato il guardrail.
-
Imposta lo stato della policy:
-
Abilitato: attiva immediatamente la policy.
-
Modalità test: consente di convalidare l'impatto della policy prima di attivarla.
-
Disabilitato: salva il guardrail senza applicarlo.
-
-
Selezionare Add per salvare il criterio e applicarlo all'area di lavoro.
Utilizzare la Modalità di test con un'area di lavoro pilota e una raccolta di dati non di produzione per capire quante risposte sarebbero interessate prima di abilitare l'applicazione di un controllo rigoroso.
La nuova policy Data Guardrails è attiva e applicata all'area di lavoro selezionata.
Come le policy interagiscono con gli spazi di lavoro
Dopo che le policy sono state definite:
-
L'amministratore dello storage utilizza ONTAP System Manager per creare spazi di lavoro, selezionare data container e associare una guardrail policy.
-
I classificatori vengono eseguiti automaticamente sui contenuti dell'area di lavoro in base a ciò che hai abilitato.
-
I Data Guardrails associati all'area di lavoro influenzano il comportamento degli endpoint di recupero.
Per data engineer e data scientist:
-
Il patrimonio di dati visibile (aree di lavoro e raccolte dati) è già filtrato in base all'assegnazione dei ruoli.
-
I metadati che interroghi (ad esempio, i tag PII) sono determinati dai classificatori abilitati.
-
Le risposte che le tue pipeline RAG ricevono sono limitate dai guardrail configurati a livello di area di lavoro.