Rick Huang, David Arnette, NetApp Yochay Ettun, cnvrg.io

Bien que tous les modèles DE ML aient besoin de données gourmandes en ressources de stockage haute performance, l'implémentation de ce modèle n'est pas beaucoup plus directe, en particulier avec le cloud hybride et les instances de calcul flexibles. Des quantités massives de données sont généralement stockées dans des data Lakes de faible coût, où les ressources de calcul d'IA haute performance telles que les GPU ne peuvent pas y accéder de manière efficace. Ce problème est aggravé dans l'infrastructure du cloud hybride où certaines charges de travail s'exécutent dans le cloud et certaines se trouvent sur site ou dans un environnement HPC différent.

Dans ce document, nous présentons une solution inédite qui permet aux professionnels DE L'IT et aux ingénieurs de données de créer une plateforme d'IA de cloud hybride véritablement équipée d'un hub de données capable de créer instantanément et automatiquement un cache de leurs jeux de données à proximité de leurs ressources de calcul. où qu'ils soient situés. Par conséquent, l'entraînement des modèles haute performance est non seulement possible, mais de nouveaux avantages sont également créés, notamment la collaboration de plusieurs professionnels de l'IA, qui disposent d'un accès immédiat aux caches, aux versions et aux lignées de dataset dans un hub de version du dataset.