Schlussfolgerung
Azure NetApp Files, RAPIDS und Dask beschleunigen und vereinfachen die Implementierung umfangreicher ML-Verarbeitung und -Trainings durch die Integration mit Orchestrierungs-Tools wie Docker und Kubernetes. Durch die Vereinheitlichung der End-to-End-Datenpipeline verringert diese Lösung die Latenz und Komplexität vieler moderner Computing-Workloads und schließt damit die Lücke zwischen Entwicklung und Betrieb. Data Scientists können Abfragen zu großen Datensätzen durchführen und Daten und algorithmische Modelle während der Trainingsphase sicher mit anderen Benutzern teilen.
Bei der Erstellung eigener KI/ML-Pipelines ist die Konfiguration der Integration, Verwaltung, Sicherheit und Zugänglichkeit der Komponenten einer Architektur eine schwierige Aufgabe. Der Zugriff auf und die Kontrolle über ihre Umgebung für Entwickler stellt eine weitere Herausforderung dar.
Durch die Entwicklung eines End-to-End-Trainingsmodells und einer verteilten Datenpipeline in der Cloud haben wir gegenüber einem herkömmlichen Open-Source-Ansatz zwei Möglichkeiten zur Verbesserung der gesamten Workflow-Vervollständigung aufgezeigt, der die GPU-beschleunigte Datenverarbeitung und Computing Frameworks nicht ausübte.
Die Kombination aus NetApp, Microsoft, opensource-Orchestrierungs-Frameworks und NVIDIA vereint die neuesten Technologien als Managed Services mit hoher Flexibilität und ermöglicht so eine beschleunigte Technologieeinführung und eine kürzere Markteinführungszeit für neue KI/ML-Applikationen. Diese erweiterten Services werden in einer Cloud-nativen Umgebung bereitgestellt, die sowohl für On-Premises- als auch für hybride Architekturen problemlos portiert werden kann.