Skip to main content
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Crie uma base de conhecimento do GenAI

Colaboradores netapp-mwallis
PDFs

Depois de implantar a infraestrutura de IA e identificar as fontes de dados que você integrará em sua base de conhecimento a partir dos seus armazenamentos de dados do FSx for ONTAP , você estará pronto para criar a base de conhecimento usando o Workload Factory. Como parte desta etapa, você também definirá as características da IA ​​e criará iniciadores de conversas.

Certifique-se de que seu ambiente atenda "requisitos"às bases de conhecimento para antes de prosseguir.

Sobre esta tarefa

As bases de conhecimento têm duas modalidades de integração de dados - public mode e Enterprise mode.

Modo público

Uma base de conhecimento pode ser usada sem integrar fontes de dados da sua organização. Neste caso, um aplicativo integrado à base de conhecimento só fornecerá resultados de informações publicamente disponíveis na internet. Isso é conhecido como integração public mode.

Modo empresarial

Na maioria dos casos, você vai querer integrar fontes de dados da sua organização na base de conhecimento. Isso é conhecido como integração Enterprise mode porque fornece conhecimento da sua empresa.

Fontes de dados da sua organização podem conter Informações de Identificação Pessoal (PII). Para proteger essas informações confidenciais, você pode habilitar guardrails de dados ao criar e configurar bases de conhecimento. Os guardrails de dados, alimentados pela NetApp Data Classification, identificam e mascaram PII, tornando-os inacessíveis e irrecuperáveis.

"Saiba mais sobre a classificação de dados da NetApp" .

Observação O NetApp Workload Factory para GenAI não mascara informações pessoais confidenciais (SPii). Consulte"tipos de dados pessoais sensíveis" para mais informações sobre esse tipo de dados.
Observação Os guardrails de dados podem ser ativados ou desativados a qualquer momento. Se você alternar a ativação dos guardrails de dados, o Workload Factory verificará toda a base de conhecimento do zero, o que gerará um custo.

Crie e configure a base de conhecimento

A base de conhecimento define caraterísticas como os modelos de IA bedrock e o formato de incorporação que você deseja usar para criar sua base de conhecimento.

Passos

  1. Faça login no Workload Factory usando um dos"experiências de console" .

  2. No bloco cargas de trabalho de IA, selecione Deploy & Manage.

  3. No menu Bases de conhecimento e conectores, selecione o menu suspenso Criar novo e escolha Base de conhecimento NetApp GenAI para Bedrock.

  4. Na página Criar base de conhecimento do NetApp GenAI, configure as definições da base de conhecimento:

Detalhes da base de conhecimento

  1. Nome: Insira o nome que deseja usar para a base de conhecimento.

  2. Descrição: Insira uma descrição detalhada para a base de conhecimento.

  3. Bedrock: Escolha a região onde o Amazon Bedrock está disponível para sua conta da AWS.

Ingestão

  1. Modelo de incorporação:

    • Escolha um modelo de incorporação para usar na base de conhecimento. O modelo de incorporação define como seus dados serão convertidos em incorporações vetoriais para a base de conhecimento. O Workload Factory oferece suporte aos seguintes modelos:

    • Titãs incorporações G1 - texto

    • Texto de incorporação Titan v2

    • Incorporações multimodais Titan G1

    • Incorpore o inglês

    • Incorpore multilíngue

      Observe que você já deve ter habilitado o modelo de incorporação da Amazon bedrock.

    "Saiba mais sobre o Amazon Titan"

    • Se aplicável, selecione o tipo de inferência que corresponde à configuração do modelo de incorporação selecionado.

  2. Guardrails de dados: escolha se deseja habilitar ou desabilitar os guardrails de dados. "Saiba mais sobre guardrails de dados, com tecnologia da NetApp Data Classification" .

    Os pré-requisitos a seguir devem ser atendidos para habilitar os corrimões de dados.

    Observação O recurso de guardrails de dados não é suportado ao inserir arquivos de dados estruturados, como CSV, JSON, JSONP ou Parquet.
Configurações de bate-papo e recuperação

  1. Modelo de bate-papo:

    • Escolha entre vários modelos de bate-papo integrados ao Amazon Bedrock. Observe que você já deve ter habilitado o modelo de bate-papo do Amazon Bedrock.

    • Se aplicável, selecione o tipo de inferência que corresponde à configuração do modelo selecionado.

  2. Configurações de bate-papo:

    • Escolha uma temperatura para o chatbot para configurar a aleatoriedade e a criatividade das respostas. Uma temperatura mais baixa resulta em respostas mais previsíveis, e uma temperatura mais alta resulta em respostas mais variadas.

    • Escolha um comprimento máximo de resposta para configurar o quão detalhadas as respostas serão. Respostas mais longas usam mais tokens de resposta e podem gerar custos mais altos.

  3. Modo de pensamento: Quando o modo de pensamento está ativado, o chatbot levará mais tempo para processar as consultas e os resultados geralmente serão mais precisos. Ao ativar o modo de raciocínio, você pode controlar quantos tokens de raciocínio são usados ao gerar resultados. Usar mais fichas de raciocínio pode levar a respostas mais precisas, mas pode incorrer em um custo mais alto.

  4. Reclassificação: habilite ou desabilite a reclassificação, o que pode melhorar a relevância e a qualidade dos resultados da consulta. Escolha um modelo de bate-papo padrão ou um modelo de reclassificação especializado para usar na reclassificação. As opções do modelo Reranker só serão exibidas se estiverem disponíveis na sua região. Selecione o tipo de inferência que corresponde à configuração do modelo selecionado.

  5. Entradas de conversação: Escolha se você deseja fornecer até quatro prompts iniciais de conversação que são exibidos para usuários que interagem com um chatbot que usa essa base de conhecimento. Recomendamos que ative esta definição.

    Se você ativar os iniciantes de conversação, "modo automático" é selecionado por padrão. O "modo manual" só pode ser ativado depois de adicionar fontes de dados à sua base de conhecimento. "Saiba como modificar as configurações da base de conhecimento".

Definições de armazenamento

  1. *Sistema de arquivos FSx para ONTAP *: quando você define uma nova base de conhecimento, o Workload Factory cria um novo volume Amazon FSx for NetApp ONTAP para armazená-la. Escolha um nome de sistema de arquivos existente e SVM (também chamado de VM de armazenamento) onde o novo volume será criado.

  2. Política de snapshot: escolha uma política de snapshot na lista de políticas existentes definidas no inventário de armazenamento do Workload Factory. Snapshots recorrentes da base de conhecimento serão criados automaticamente com uma frequência baseada na política de snapshot selecionada.

  3. S3 Bucket: Se os resultados da consulta do chatbot contiverem dados estruturados, o GenAI pode armazenar os resultados em um bucket S3. Para usar esse recurso, ative a configuração Ativar bucket S3 e escolha um bucket S3 associado à sua conta na lista. Quando esses resultados são armazenados em um bucket S3, você pode baixá-los usando o link de download na sessão de bate-papo.

    Se a política de snapshot que você precisa não existir, você pode "criar uma política de snapshot" na VM de armazenamento que contém o volume.

  4. Selecione criar base de conhecimento para adicionar a base de conhecimento ao GenAI.

    Um indicador de progresso é exibido enquanto a base de conhecimento é criada.

    Depois que a base de conhecimento é criada, você tem a opção de adicionar uma fonte de dados à sua nova base de conhecimento ou terminar o processo sem adicionar uma fonte de dados. Recomendamos que você selecione Adicionar fonte de dados e adicione uma ou mais fontes de dados agora.

Adicione fontes de dados à base de conhecimento

Você pode adicionar uma ou mais fontes de dados para preencher a base de conhecimento com os dados da sua organização.

Sobre esta tarefa

O número máximo de fontes de dados suportadas é 10.

Passos

  1. Depois de selecionar Adicionar fonte de dados, selecione o tipo de fonte de dados que deseja adicionar:

    • Adicionar FSx para sistema de arquivos ONTAP (usar arquivos de um volume FSx para ONTAP existente)

    • Adicionar sistema de arquivos (usar arquivos de um compartilhamento SMB ou NFS genérico)

Adicionar um FSx para sistema de arquivos ONTAP

  1. * Selecione um sistema de arquivos*: Selecione o sistema de arquivos FSX for ONTAP onde seus arquivos de origem de dados residem e selecione Next.

  2. Selecione um volume: Selecione o volume no qual os arquivos de origem de dados residem e selecione Next.

    Ao selecionar arquivos armazenados usando o protocolo SMB, você precisará inserir as informações do ative Directory, que incluem o domínio, o endereço IP, o nome de usuário e a senha.

  3. Selecione uma fonte de dados: Selecione a localização da fonte de dados com base no local onde você salvou os arquivos. Este pode ser um volume inteiro, ou apenas uma pasta específica ou subpasta no volume, e selecione Next.

  4. * Configurações*: Configure como a fonte de dados ingere informações de seus arquivos e quais arquivos ela inclui em varreduras:

    • Definir fonte de dados: Na seção Estratégia de Chunking, defina como o mecanismo GenAI divide o conteúdo da fonte de dados em blocos quando a fonte de dados é integrada a uma base de conhecimento. Você pode escolher uma das seguintes estratégias:

      • * Agrupamento de frases múltiplas*: Organiza informações de sua fonte de dados em blocos definidos por sentença. Você pode escolher quantas frases compõem cada pedaço (até 100).

      • * Agrupamento baseado em sobreposição*: Organiza informações de sua fonte de dados em blocos definidos por carateres que podem sobrepor blocos vizinhos. Você pode escolher o tamanho de cada pedaço em carateres, e quanto cada pedaço se sobrepõe com pedaços adjacentes. Você pode configurar um tamanho de bloco entre 50 e 3000 carateres e uma porcentagem de sobreposição entre 1 e 99%.

        Observação Escolher uma alta porcentagem de sobreposição pode aumentar significativamente os requisitos de armazenamento com apenas pequenas melhorias na precisão de recuperação.

    • * Filtragem de arquivos*: Configure quais arquivos estão incluídos nas digitalizações:

      • Na seção suporte a tipos de arquivo, escolha incluir todos os tipos de arquivos ou selecionar tipos de arquivo individuais para inclusão nas verificações de origem de dados.

        Se você incluir imagens ou arquivos PDF, o NetApp Workload Factory for GenAI analisará o texto nas imagens (incluindo imagens em documentos PDF), e isso incorrerá em um custo mais alto.

      Ao incluir dados de texto de imagens, o GenAI não consegue mascarar informações de identificação pessoal (PII) da imagem à medida que os dados de texto digitalizados são enviados do seu ambiente para a AWS. No entanto, uma vez que os dados são armazenados, todas as PII são mascaradas no banco de dados do GenAI.

    Observação Sua escolha de incluir arquivos de imagem em digitalizações está relacionada ao modelo de bate-papo da base de conhecimento. Se você incluir arquivos de imagem em digitalizações, o modelo de bate-papo deve suportar imagens. Se os tipos de arquivo de imagem estiverem selecionados aqui, você não poderá alternar a base de conhecimento para um modelo de chat que não suporte arquivos de imagem.

    • Na seção filtro de tempo de modificação de arquivo, escolha ativar ou desativar a inclusão de arquivos com base em seu tempo de modificação. Se ativar a filtragem de hora de modificação, selecione um intervalo de datas na lista.

      Observação Se você incluir arquivos com base em um intervalo de datas de modificação, assim que o intervalo de datas não for satisfeito (os arquivos não foram modificados dentro do intervalo de datas especificado), os arquivos serão excluídos da verificação periódica e a fonte de dados não incluirá esses arquivos.

  5. Na seção reconhecimento de permissão, que está disponível somente quando a fonte de dados selecionada estiver em um volume que usa o protocolo SMB, você pode ativar ou desativar respostas com reconhecimento de permissão:

    • Habilitado: Os usuários do chatbot que acessam essa base de conhecimento só receberão respostas a consultas de fontes de dados às quais têm acesso.

    • Disabled: Os usuários do chatbot receberão respostas usando conteúdo de todas as fontes de dados integradas.

  6. Selecione Add para adicionar esta fonte de dados à sua base de conhecimento.

Adicionar um sistema de arquivos NFS genérico

  1. Selecione um sistema de arquivos: insira o endereço IP ou FQDN do host do sistema de arquivos onde seus arquivos de fonte de dados residem, escolha o protocolo NFS para o compartilhamento de rede e selecione Avançar.

  2. Selecione uma fonte de dados: Selecione a localização da fonte de dados com base no local onde você salvou os arquivos. Este pode ser um volume inteiro, ou apenas uma pasta específica ou subpasta no volume, e selecione Next.

    Observação Em alguns casos, pode ser necessário inserir o nome da exportação NFS manualmente e selecionar Recuperar diretórios para exibir os diretórios disponíveis. Você pode optar por selecionar a exportação inteira ou apenas pastas específicas da exportação.

  3. * Configurações*: Configure como a fonte de dados ingere informações de seus arquivos e quais arquivos ela inclui em varreduras:

    • Definir fonte de dados: Na seção Estratégia de Chunking, defina como o mecanismo GenAI divide o conteúdo da fonte de dados em blocos quando a fonte de dados é integrada a uma base de conhecimento. Você pode escolher uma das seguintes estratégias:

      • * Agrupamento de frases múltiplas*: Organiza informações de sua fonte de dados em blocos definidos por sentença. Você pode escolher quantas frases compõem cada pedaço (até 100).

      • * Agrupamento baseado em sobreposição*: Organiza informações de sua fonte de dados em blocos definidos por carateres que podem sobrepor blocos vizinhos. Você pode escolher o tamanho de cada pedaço em carateres, e quanto cada pedaço se sobrepõe com pedaços adjacentes. Você pode configurar um tamanho de bloco entre 50 e 3000 carateres e uma porcentagem de sobreposição entre 1 e 99%.

        Observação Escolher uma alta porcentagem de sobreposição pode aumentar significativamente os requisitos de armazenamento com apenas pequenas melhorias na precisão de recuperação.

    • * Filtragem de arquivos*: Configure quais arquivos estão incluídos nas digitalizações:

      • Na seção suporte a tipos de arquivo, escolha incluir todos os tipos de arquivos ou selecionar tipos de arquivo individuais para inclusão nas verificações de origem de dados.

        Se você incluir imagens ou arquivos PDF, o NetApp Workload Factory for GenAI analisará o texto nas imagens (incluindo imagens em documentos PDF), e isso incorrerá em um custo mais alto.

      Ao incluir dados de texto de imagens, o GenAI não consegue mascarar informações de identificação pessoal (PII) da imagem à medida que os dados de texto digitalizados são enviados do seu ambiente para a AWS. No entanto, uma vez que os dados são armazenados, todas as PII são mascaradas no banco de dados do GenAI.

    Observação Sua escolha de incluir arquivos de imagem em digitalizações está relacionada ao modelo de bate-papo da base de conhecimento. Se você incluir arquivos de imagem em digitalizações, o modelo de bate-papo deve suportar imagens. Se os tipos de arquivo de imagem estiverem selecionados aqui, você não poderá alternar a base de conhecimento para um modelo de chat que não suporte arquivos de imagem.

    • Na seção filtro de tempo de modificação de arquivo, escolha ativar ou desativar a inclusão de arquivos com base em seu tempo de modificação. Se ativar a filtragem de hora de modificação, selecione um intervalo de datas na lista.

      Observação Se você incluir arquivos com base em um intervalo de datas de modificação, assim que o intervalo de datas não for satisfeito (os arquivos não foram modificados dentro do intervalo de datas especificado), os arquivos serão excluídos da verificação periódica e a fonte de dados não incluirá esses arquivos.

  4. Selecione Adicionar fonte de dados para adicionar esta fonte de dados à sua base de conhecimento.

Adicionar um sistema de arquivos SMB genérico

  1. Selecione o sistema de arquivos:

    1. Digite o endereço IP ou FQDN do host do sistema de arquivos onde seus arquivos de fonte de dados residem.

    2. Escolha o protocolo SMB para o compartilhamento de rede.

    3. Insira as informações do Active Directory, que incluem o domínio, endereço IP, nome de usuário e senha.

    4. Selecione seguinte.

  2. Selecione uma fonte de dados: Selecione a localização da fonte de dados com base no local onde você salvou os arquivos. Este pode ser um volume inteiro, ou apenas uma pasta específica ou subpasta no volume, e selecione Next.

    Observação Em alguns casos, pode ser necessário inserir o nome do compartilhamento SMB manualmente e selecionar Recuperar diretórios para exibir os diretórios disponíveis. Você pode optar por selecionar o compartilhamento inteiro ou apenas pastas específicas do compartilhamento.

  3. * Configurações*: Configure como a fonte de dados ingere informações de seus arquivos e quais arquivos ela inclui em varreduras:

    • Definir fonte de dados: Na seção Estratégia de Chunking, defina como o mecanismo GenAI divide o conteúdo da fonte de dados em blocos quando a fonte de dados é integrada a uma base de conhecimento. Você pode escolher uma das seguintes estratégias:

      • * Agrupamento de frases múltiplas*: Organiza informações de sua fonte de dados em blocos definidos por sentença. Você pode escolher quantas frases compõem cada pedaço (até 100).

      • * Agrupamento baseado em sobreposição*: Organiza informações de sua fonte de dados em blocos definidos por carateres que podem sobrepor blocos vizinhos. Você pode escolher o tamanho de cada pedaço em carateres, e quanto cada pedaço se sobrepõe com pedaços adjacentes. Você pode configurar um tamanho de bloco entre 50 e 3000 carateres e uma porcentagem de sobreposição entre 1 e 99%.

        Observação Escolher uma alta porcentagem de sobreposição pode aumentar significativamente os requisitos de armazenamento com apenas pequenas melhorias na precisão de recuperação.

    • Consciente de permissão: Habilita ou desabilita respostas cientes de permissão:

      • Habilitado: Os usuários do chatbot que acessam essa base de conhecimento só receberão respostas a consultas de fontes de dados às quais têm acesso.

      • Disabled: Os usuários do chatbot receberão respostas usando conteúdo de todas as fontes de dados integradas.

    • * Filtragem de arquivos*: Configure quais arquivos estão incluídos nas digitalizações:

      • Na seção suporte a tipos de arquivo, escolha incluir todos os tipos de arquivos ou selecionar tipos de arquivo individuais para inclusão nas verificações de origem de dados.

        Se você incluir imagens ou arquivos PDF, o NetApp Workload Factory for GenAI analisará o texto nas imagens (incluindo imagens em documentos PDF), e isso incorrerá em um custo mais alto.

      Ao incluir dados de texto de imagens, o GenAI não consegue mascarar informações de identificação pessoal (PII) da imagem à medida que os dados de texto digitalizados são enviados do seu ambiente para a AWS. No entanto, uma vez que os dados são armazenados, todas as PII são mascaradas no banco de dados do GenAI.

    Observação Sua escolha de incluir arquivos de imagem em digitalizações está relacionada ao modelo de bate-papo da base de conhecimento. Se você incluir arquivos de imagem em digitalizações, o modelo de bate-papo deve suportar imagens. Se os tipos de arquivo de imagem estiverem selecionados aqui, você não poderá alternar a base de conhecimento para um modelo de chat que não suporte arquivos de imagem.

    • Na seção filtro de tempo de modificação de arquivo, escolha ativar ou desativar a inclusão de arquivos com base em seu tempo de modificação. Se ativar a filtragem de hora de modificação, selecione um intervalo de datas na lista.

      Observação Se você incluir arquivos com base em um intervalo de datas de modificação, assim que o intervalo de datas não for satisfeito (os arquivos não foram modificados dentro do intervalo de datas especificado), os arquivos serão excluídos da verificação periódica e a fonte de dados não incluirá esses arquivos.

  4. Selecione Adicionar fonte de dados para adicionar esta fonte de dados à sua base de conhecimento.

Resultado

A fonte de dados começa a ser incorporada na sua base de conhecimento. O status muda de "incorporação" para "incorporada" quando a fonte de dados está completamente incorporada.

Depois de adicionar uma única fonte de dados à base de conhecimento, você pode testá-la localmente na janela do simulador do chatbot e fazer as alterações necessárias antes de tornar o chatbot disponível para seus usuários. Você também pode seguir os mesmos passos para adicionar fontes de dados adicionais à base de conhecimento.