Conclusion
Azure NetApp Files, RAPIDS et DASK accélèrent et simplifient le déploiement du traitement DE ML et de la formation à grande échelle en intégrant les outils d'orchestration tels que Docker et Kubernetes. En unifiant le pipeline de données de bout en bout, cette solution réduit la latence et la complexité inhérentes à de nombreuses charges de travail informatiques avancées, afin de combler efficacement l'écart entre le développement et les opérations. Les data Scientists peuvent exécuter des requêtes sur d'importants jeux de données et partager en toute sécurité les données et les modèles algorithmiques avec d'autres utilisateurs au cours de la phase d'entraînement.
Lors de la création de vos propres pipelines d'IA et DE ML, la configuration de l'intégration, de la gestion, de la sécurité et de l'accessibilité des composants d'une architecture représente un véritable défi. Le fait de donner aux développeurs accès à leur environnement et de le contrôler constitue un autre ensemble de défis.
En créant un modèle d'entraînement distribué complet et un pipeline de données dans le cloud, nous avons mis en avant deux ordres d'amélioration considérable au niveau du temps d'exécution total des workflows, par rapport à une approche open source classique qui n'exploite pas les frameworks de calcul et de traitement des données accélérés par GPU.
L'association de NetApp, Microsoft, des frameworks d'orchestration open source et NVIDIA rassemble les dernières technologies en tant que services gérés, tout en offrant une grande flexibilité pour accélérer l'adoption de technologies et améliorer le délai de mise sur le marché de nouvelles applications d'IA et DE ML. Ces services avancés sont fournis dans un environnement cloud natif facilement porté pour les architectures de déploiement sur site ainsi que pour les architectures de déploiement hybrides.