4. NetApp, composants technologiques tiers et open source
Suggérer des modifications
PDF
Karthikeyan Nagalingam, NetApp
| Composant | Rôle dans la solution |
|---|---|
NetApp StorageGRID |
Niveaux d’ingestion de données brutes et de stockage objet d’archivage compatibles S3 |
Bucket NAS NetApp ONTAP / NFS |
Niveau de données préparées ; export source NFS validé par la vérification préalable XCP avant le déplacement des données |
NetApp ONTAP S3 |
Destination optionnelle des données d’entraînement XCP et des artefacts de modèle |
NetApp XCP |
Moteur de mobilité des données à haut débit ; copies vers S3 ou LustreFS |
NetApp FabricPool |
Hiérarchisation optionnelle des données préparées ONTAP NAS et des données proches de l’archivage afin d’optimiser les coûts |
LustreFS (NetApp-intégré) |
Système de fichiers parallèle hautes performances pour la couche d’entraînement |
NetApp Console (optionnelle) |
Surveillance/observabilité étendue des ressources ONTAP et XCP |
ONTAP Snapshot/Sauvegarde |
Protection ponctuelle des données préparées dans le niveau NAS ONTAP, indépendamment du pipeline |
[[4-1-netapp-xcp-core-value]]
== 4.1 NetApp XCP — Valeur fondamentale
XCP est la couche de mobilité qui dissocie l'emplacement des données de l'emplacement de calcul. Un simple paramètre de configuration (xcp_copy_destination) détermine si les données préparées et les artefacts de modèle sont stockés dans NetApp ONTAP S3 ou dans un niveau haute performance LustreFS, avec model_training, fine_tuning, et inferencing qui lisent et écrivent automatiquement depuis et vers la même destination.
[[4-2-third-party-and-open-source-technology-components]]
== 4.2 Composants technologiques tiers et open source
| Composant | But |
|---|---|
Apache Airflow |
Orchestration des DAG, nouvelles tentatives d’exécution, communication des tâches XCom, planification |
Apache Spark |
Moteur de transformation distribué optionnel pour |
Delta Lake / Apache Iceberg |
Formats de table lakehouse facultatifs pour les données tabulaires préparées |
scikit-learn |
|
Airbyte / Apache NiFi |
Connecteurs d'ingestion optionnels avant |
boto3 |
SDK compatible AWS S3 utilisé pour les interactions avec StorageGRID, le bucket NAS ONTAP et ONTAP S3 |