Rick Huang、David Arnette、NetApp Yochay Ettun、cnvrg-io

雖然大家都知道、ML模型需要大量資料、而且需要近端的高效能資料儲存設備來處理運算資源、但實際上實作這種模式並不太直接、尤其是混合雲和彈性運算執行個體。大量資料通常儲存在低成本的資料湖中、因為GPU等高效能AI運算資源無法有效存取資料。在混合雲基礎架構中、有些工作負載會在雲端上運作、有些工作負載則位於內部部署環境或完全位於不同的HPC環境中、這種情況更形嚴重。

在本文件中、我們提供一款新穎的解決方案、讓IT專業人員和資料工程師能夠建立真正的混合雲AI平台、並具備拓撲感知資料中心、讓資料科學家能夠在運算資源附近、立即自動建立資料集快取、 無論位於何處。因此、不僅能完成高效能模式訓練、還能創造更多效益、包括多位AI從業人員的協同作業、他們可以立即存取資料集版本中樞內的資料集快取、版本和線路。