Skip to main content
NetApp Solutions
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Soluzione di data mover per l'ai

Collaboratori
PDF

La soluzione data mover per l'ai si basa sulle esigenze dei clienti di elaborare i dati Hadoop dalle operazioni ai. NetApp trasferisce i dati da HDFS a NFS utilizzando NIPAM. In un caso di utilizzo, il cliente doveva spostare i dati su NFS on-premise e un altro cliente doveva spostare i dati da Windows Azure Storage Blob a Cloud Volumes Service per elaborare i dati dalle istanze cloud della GPU nel cloud.

Il seguente diagramma illustra i dettagli della soluzione data mover.

Errore: Immagine grafica mancante

Per creare la soluzione di data mover sono necessari i seguenti passaggi:

  1. LA SAN ONTAP fornisce HDFS e il NAS fornisce il volume NFS tramite NIPAM al cluster di data Lake di produzione.

  2. I dati del cliente sono in HDFS e NFS. I dati NFS possono essere dati di produzione di altre applicazioni utilizzate per l'analisi dei big data e le operazioni ai.

  3. La tecnologia NetApp FlexClone crea un clone del volume NFS di produzione e lo fornisce al cluster ai on-premise.

  4. I dati di un LUN SAN HDFS vengono copiati in un volume NFS con NIPAM e il hadoop distcp comando. NIPAM utilizza la larghezza di banda di più interfacce di rete per trasferire i dati. Questo processo riduce i tempi di copia dei dati in modo che sia possibile trasferire più dati.

  5. Entrambi i volumi NFS vengono forniti al cluster ai per le operazioni ai.

  6. Per elaborare i dati NFS on-the-premise con GPU nel cloud, i volumi NFS vengono mirrorati su NetApp Private Storage (NPS) con la tecnologia NetApp SnapMirror e montati sui cloud service provider per GPU.

  7. Il cliente desidera elaborare i dati nei servizi EC2/EMR, HDInsight o DataProc nelle GPU dei provider di servizi cloud. Il data mover di Hadoop sposta i dati dai servizi Hadoop ai Cloud Volumes Services con NIPAM e a. hadoop distcp comando.

  8. I dati Cloud Volumes Service vengono forniti all'ai tramite il protocollo NFS.i dati elaborati tramite l'ai possono essere inviati in una posizione on-premise per l'analisi dei big data oltre al cluster NVIDIA tramite NIPAM, SnapMirror e NPS.

In questo scenario, il cliente dispone di dati con un elevato numero di file nel sistema NAS in una posizione remota richiesta per l'elaborazione dell'ai sul controller di storage NetApp on-premise. In questo scenario, è meglio utilizzare XCP Migration Tool per migrare i dati a una velocità superiore.

Il cliente con caso d'utilizzo ibrido può utilizzare BlueXP Copy e Sync per migrare i dati on-premise dai dati NFS, CIFS e S3 nel cloud e viceversa per l'elaborazione ai utilizzando GPU come quelle in un cluster NVIDIA. Sia BlueXP Copy che Sync e lo strumento di migrazione XCP sono utilizzati per la migrazione dei dati NFS in NetApp ONTAP NFS.