Skip to main content
NetApp artificial intelligence solutions
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

4. NetApp, componentes tecnológicos de terceros y de código abierto

Colaboradores nkarthik
PDF

Karthikeyan Nagalingam, NetApp

La solución de canalización de datos de IA utiliza componentes de NetApp, de terceros y de código abierto.

Componente Función en la solución

StorageGRID en NetApp

Niveles de almacenamiento de objetos para la ingesta y el archivado de datos sin procesar compatibles con S3

NetApp bucket NAS / NFS de ONTAP

Nivel de datos preparados; exportación de origen NFS validada por la comprobación previa de XCP antes del traslado de datos

NetApp ONTAP S3

Destino opcional de los datos de entrenamiento y los artefactos del modelo de XCP

XCP de NetApp

Motor de movilidad de datos de alto rendimiento; copia en S3 o LustreFS

NetApp FabricPool

Organización en niveles opcional de los datos preparados para NAS de ONTAP y los datos cercanos al archivo para optimizar los costes

LustreFS (NetApp-integrado)

Sistema de archivos paralelo de alto rendimiento para el nivel de entrenamiento

NetApp Console (opcional)

Supervisión/observabilidad ampliadas para los recursos de ONTAP y XCP

Instantáneas/copias de seguridad de ONTAP

Protección puntual de los datos preparados en el nivel NAS de ONTAP, independiente del pipeline

[[4-1-netapp-xcp-core-value]]
== 4.1 NetApp XCP — Valor fundamental

XCP es la capa de movilidad que separa la ubicación de los datos de la ubicación de los recursos de cálculo. Un único cambio en la configuración (xcp_copy_destination) determina si los datos preparados y los artefactos del modelo se almacenan en NetApp ONTAP S3 o en un nivel de alto rendimiento de LustreFS, y model_training, fine_tuning y inferencing leen y escriben automáticamente en el mismo destino.

[[4-2-third-party-and-open-source-technology-components]]
== 4.2 Componentes tecnológicos de terceros y de código abierto

Componente Propósito

Flujo de aire de Apache

Orquestación de DAG, reintentos, comunicación entre tareas de XCom, programación

Apache Spark

Motor de transformación distribuido opcional para data_prep

Delta Lake / Apache Iceberg

Formatos de tabla de lakehouse opcionales para datos tabulares preparados

scikit-learn

LinearRegression (en formato tabular) y SGDClassifier (texto, incremental)

Airbyte / Apache NiFi

Conectores de ingesta opcionales antes de data_prep

boto3

SDK compatible con AWS S3 usado para las interacciones con StorageGRID, el bucket NAS de ONTAP y ONTAP S3