Skip to main content
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Perguntas frequentes sobre NetApp AI Data Engine

Colaboradores netapp-dbagwell
PDFs

Este FAQ aborda dúvidas comuns sobre NetApp AI Data Engine (AIDE), incluindo sua arquitetura, implantação, tipos de usuários, recursos técnicos, integração e licenciamento.

Noções básicas de AIDE

O que é NetApp AI Data Engine?

NetApp AI Data Engine (AIDE) é um serviço de dados de IA integrado ao storage que abrange todo o ciclo de vida de IA, desde a descoberta e preparação de dados brutos até o fornecimento de pontos de recuperação para impulsionar IA generativa (GenAI), Retrieval-Augmented Generation (RAG), agentic AI e fábricas de IA. AIDE automatiza a sincronização e a detecção de alterações, fornecendo uma visão unificada e atualizada dos dados selecionados para descoberta e curadoria de dados.

Como o AIDE funciona?

AIDE integra-se diretamente com os sistemas de armazenamento NetApp ONTAP para criar uma visão global e estruturada de todo o conjunto de dados NetApp, com detecção e sincronização automatizadas de alterações. AIDE oferece vetorização em tempo real com compressão e deduplicação, Data Guardrails voltado a políticas e integração com ferramentas de IA.

Usuários e funções

Quem usa AI Data Engine?

Os principais usuários do AIDE incluem:

  1. Administradores de storage ONTAP: Gerenciam a infraestrutura, as necessidades de storage específicas para IA, a segurança e a conformidade.

  2. Engenheiros de dados: gerenciam movimentação, preparação e integração de dados entre ambientes.

  3. Cientistas de dados: preparar e transformar os dados relevantes para o consumo por IA.

Requisitos e implantação

Quais são as opções de implantação disponíveis para AIDE?

AIDE oferece duas opções de implantação:

  • NetApp data compute nodes (DCN) deployment: AIDE é executado em nós de computação de dados fornecidos pela NetApp com recursos de GPU integrados, oferecendo todas as funcionalidades do AIDE, incluindo metadados, vetorização e endpoints RAG.

  • AIDE software em servidores de terceiros: O AIDE software é executado em servidores RHEL 9.7 fornecidos pelo cliente, utilizando hardware de terceiros compatível. Uma implantação básica do Metadata Engine oferece recursos de catalogação e descoberta de metadados, mas não inclui recursos dependentes de GPU.

Que hardware é necessário para implantações do NetApp DCN?

NetApp DCN exige implementações de sistemas AFX (incluindo um controlador AFX, um gabinete de discos e um switch de rede) e três nós de computação de dados NetApp. São necessários pelo menos quatro nós de controlador AFX para garantir alta disponibilidade e desempenho.

Que hardware é necessário para implantações do software AIDE com a funcionalidade básica do Metadata Engine em servidores de terceiros?

O software AIDE com a funcionalidade básica do Metadata Engine, para implantações em servidores de terceiros, requer:

  • Três servidores adquiridos pelo cliente de fornecedores credenciados

  • RHEL 9.7 LTS instalado em todos os servidores

  • Sistema de storage AFX executando ONTAP 9.18.1 ou posterior para storage persistente

"Para obter especificações adicionais, saiba mais sobre os requisitos de hardware de servidor de terceiros".

Posso usar meus próprios servidores para o AIDE completo com recursos de GPU?

AIDE 1.0.0 oferece suporte básico ao Metadata Engine em servidores de terceiros com hardware fornecido pelo cliente. Recursos completos do AIDE com funcionalidades de GPU exigem hardware NetApp DCN.

Qual é o número mínimo de NetApp DCNs necessários?

São necessários exatamente três NetApp DCNs.

Qual sistema operacional é executado nos nós AIDE?

O sistema operacional depende do seu tipo de implantação:

  • NetApp DCN: pilha de software fornecida e gerenciada pela NetApp

  • AIDE software com funcionalidade básica do Metadata Engine em servidores de terceiros: Red Hat Enterprise Linux (RHEL) 9.7 LTS, instalado e gerenciado pelo cliente

O AIDE pode ser implantado sem o AFX?

Não. AIDE requer AFX para implantação. AIDE utiliza "Trident" para consumir os volumes do AFX para storage interno (volumes persistentes). O cluster AFX que fornece storage para AIDE pode ser emparelhado com um sistema ou cluster ONTAP 9. Ele utiliza o emparelhamento de clusters e SnapMirror para sincronizar dados do cluster ONTAP remoto para o sistema AFX.

Gerenciamento e interfaces

AIDE Console faz parte do NetApp Console ou é uma interface separada?

AIDE Console é uma interface de gerenciamento separada que é executada em NetApp DCNs. Você usa AIDE Console para gerenciar serviços do AIDE, como Data Guardrails e Data Curator. Você também pode usar ONTAP System Manager para monitorar o cluster AIDE.

Recursos e funcionalidades

Quais são os principais recursos do AIDE?

AIDE oferece quatro funcionalidades principais, cuja disponibilidade depende do tipo de deployment:

Metadata Engine (disponível em todas as implementações)

  • Gera automaticamente uma visualização estruturada, atualizada e interativa dos seus dados.

  • Funciona com dados armazenados no ONTAP.

  • Permite que profissionais de dados colaborem com administradores de storage para encontrar e compreender dados.

  • As APIs consultam metadados para fornecer funcionalidades enquanto reduzem a carga de tráfego NFS nos sistemas de armazenamento.

  • A capacidade de extração e catalogação de metadados foi desenvolvida especificamente para AIDE, funciona de forma contínua e aproveita recursos do ONTAP, como snapshots.

Sincronização de dados (disponível em todas as implementações)

  • Mantém a atualização dos dados automaticamente conforme os dados de origem são alterados sem intervenção manual.

  • Os administradores definem o intervalo de atualização de dados em dias ou horas.

  • Proporciona mobilidade de dados incremental e sincronização em todos os dados para eliminar cópias redundantes de dados de IA.

Data Guardrails (NetApp DCN apenas com a licença necessária)

  • Identifica e protege automaticamente dados confidenciais ao longo de todo o ciclo de vida dos dados. É acessível através do AIDE Console.

  • Analisa, classifica e categoriza dados continuamente.

  • Identifica dados confidenciais (como PII) e riscos.

  • Facilita a criação de políticas para o tratamento automático de dados confidenciais em conformidade com os padrões da empresa e normas regulamentares.

  • A aplicação completa das políticas (redação automática e restrição de acesso) requer recursos de vetorização disponíveis apenas em implementações de NetApp DCN.

  • O software AIDE com Metadata Engine funcionalidade básica em servidores de terceiro suporta a marcação de metadados baseada em classificadores, mas não a aplicação de Data Guardrails.

Data Curator (NetApp DCN apenas com a licença necessária)

  • Permite que cientistas de dados pesquisem em todo o storage em busca de dados relevantes.

  • Cria coleções de dados selecionados com dados existentes nos volumes do AFX.

  • Gera representações vetoriais na camada de storage para reduzir dados brutos e aumentar o desempenho.

  • Fornece um endpoint de recuperação para aplicações de IA com busca semântica vetorial e reclassificação.

Observação O software AIDE com funcionalidade básica do Metadata Engine em servidores de terceiros inclui os recursos Metadata Engine e Data Sync. Data Guardrails e Data Curator requerem recursos de GPU disponíveis em NetApp DCN deployments.
Quais recursos estão disponíveis com o AIDE software em servidores de terceiros em comparação com o NetApp DCN?

O software AIDE em servidores de terceiros oferece recursos focados em metadados:

Disponível com o software AIDE com funcionalidade básica do Metadata Engine em servidores de terceiros:

  • Criação e gestão de workspaces

  • Extração e catalogação automatizadas de metadados

  • Busca e filtragem de metadados via APIs REST

  • Sincronização de dados para atualização automática de dados

  • Funcionalidade de exportação de metadados

Não disponível com o software AIDE com Metadata Engine funcionalidade básica em servidores de terceiros:

  • Serviços dependentes de GPU (vetorização, OCR, enriquecimento)

  • Coleções de dados e incorporações vetoriais

  • Pontos finais RAG para pesquisa semântica

  • Aplicação da política de Data Guardrails no momento da recuperação

Integração e interoperabilidade

AIDE oferece suporte a metadados federados em vários clusters ONTAP?

AIDE pode se conectar a vários clusters ONTAP usando SnapMirror e peering de clusters, permitindo visibilidade centralizada dos metadados.

Onde os metadados são armazenados?

AIDE armazena metadados no cluster AFX conectado usando um volume persistente fornecido pelo AFX. Os nós de computação de dados usam armazenamento local para operações internas.

O AIDE Metadata Engine classifica dados?

Não. AIDE Metadata Engine cataloga metadados do sistema de arquivos e fornece APIs para consultar esses metadados catalogados.

Quais fontes de dados são suportadas?

AIDE suporta volumes ONTAP (locais ou remotos) como fontes de dados. Clusters ONTAP remotos devem executar ONTAP 9 e estar conectados via peering de cluster e SnapMirror.

Os buckets ONTAP S3 e os objetos StorageGRID não são suportados como fontes de dados no AIDE 9.18.1.

Quais tipos de arquivos a AIDE pode processar para classificação, vetorização e busca semântica?

AIDE suporta uma ampla variedade de tipos de arquivo, incluindo PDF, DOCX, PPTX, TXT e arquivos de imagem com recursos de OCR.

AIDE oferece suporte à classificação de dados em idiomas diferentes do inglês?

AIDE suporta apenas dados em inglês.

Quais integrações o AIDE suporta?

AIDE fornece um endpoint de API RAG acessível por meio de chamadas diretas à API ou por meio de um servidor de Model Context Protocol (MCP). Isso permite a integração com frameworks e ferramentas de IA agentic.

Licenciamento

Como o AIDE é licenciado?

O licenciamento do AIDE depende do tipo de implantação e dos recursos necessários:

Implantações do NetApp DCN:

  • Data Guardrails e Data Curator exigem a licença de serviços premium do AIDE

  • Metadata Engine e os recursos de Data Sync estão incluídos na licença ONTAP One (incluída em todos os sistemas AFX)

AIDE software com Metadata Engine funcionalidade básica em servidores de terceiros:

  • A licença ONTAP One concede direito aos recursos Metadata Engine e Data Sync

  • Data Guardrails e Data Curator não estão disponíveis para implantações da funcionalidade básica do Metadata Engine em servidores de terceiros

Informações relacionadas