La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Découvrez les systèmes de stockage Novus

11/03/2026 Contributeurs

NetApp Novus est un système de stockage puissant conçu pour répondre aux exigences de l’IA à très grande échelle. Il étend l’expérience de NetApp en matière de solution de stockage haute performance à l’infrastructure extrêmement performante nécessaire à l’entraînement et à l’inférence. Il est essentiel de comprendre sa structure administrative et ses options de configuration pour assurer une gestion efficace et des performances optimales.

Aperçu

NetApp Novus est une solution de système de stockage de fichiers scale-out conçue pour offrir le débit et la montée en charge nécessaires aux workloads d'IA modernes. Elle regroupe de nombreux clusters de stockage ONTAP indépendants dans un seul namespace que les clients voient comme un unique système de fichiers. Novus repose sur NFS parallèle (pNFS), qui sépare les métadonnées des données de fichiers. Un service de métadonnées dédié gère le namespace, tandis que les clusters de stockage servent directement les données de fichiers aux clients en parallèle. Cela supprime le plafond de débit d'un seul cluster de stockage, qui ne limite donc plus la vitesse à laquelle le système peut fournir les données.

Un déploiement Novus peut évoluer simplement en ajoutant des clusters de stockage. Chaque nouveau cluster ajoute l’intégralité de sa bande passante et de sa capacité au namespace, de sorte que le débit total augmente à mesure que le système se développe, sans remontage des clients ni rééquilibrage perturbateur. Le service de métadonnées évolue séparément des serveurs de données, ce qui vous permet d’étendre la taille du namespace et les performances des métadonnées en fonction du workload. Novus est conçu pour faire fonctionner chaque nœud de stockage à pleine vitesse et pour traiter les défaillances des composants comme des événements courants et non perturbateurs à grande échelle. L’objectif principal est de maintenir le flux de données vers le calcul, même lorsque le système atteint de très grandes dimensions.

Les clients utilisent un client NFS standard, ce qui permet d’adapter simplement Novus aux grands clusters de GPU et de calcul. De plus, Novus est mutualisé, de sorte qu’un seul déploiement peut héberger plusieurs clients ou workloads isolés, chacun avec ses propres namespaces distincts. Il s’appuie également sur la gestion des données et la protection éprouvées d’ONTAP. Pour les clients, cela se traduit par un stockage capable de maintenir les GPU pleinement occupés, de réduire les coûts d’infrastructure en tirant davantage de performances de chaque nœud et de prendre en charge de très grands ensembles de données dans un seul namespace.

Novus accompagne les organisations qui exécutent des workloads d’IA et d’autres applications gourmandes en données à grande échelle. Cela inclut généralement les néoclouds, les fournisseurs de GPU en tant que service, les clouds souverains, les hyperscalers, ainsi que les grandes entreprises et les organismes de recherche qui réalisent l’entraînement et l’inférence en IA. Novus est avantageux pour tout client utilisant le calcul haute performance ou le traitement multimédia nécessitant un débit de plusieurs téraoctets par seconde et souhaitant faire évoluer son stockage parallèlement à sa puissance de calcul.

Principes de conception des systèmes

Novus a été conçu et développé selon plusieurs principes fondamentaux. Ces choix architecturaux sous-jacents déterminent ses performances, son évolutivité et sa résilience. Cela aide les clients qui ont besoin d'un stockage haute performance à maintenir le GPU occupé et à réduire leurs dépenses d'infrastructure.

Stockage prêt pour l'exascale: Novus est conçu comme une pile de base de stockage défini par logiciel prête pour l'exascale. Il combine des serveurs de métadonnées pNFS à mise à l'échelle horizontale avec des serveurs de données séparés et désagrégés.
Débit au-delà des limites traditionnelles des clusters ONTAP: Traditionnellement, un cluster ONTAP unique atteint un plafond de débit fixe, déterminé par le nombre de ses contrôleurs et la bande passante de ses interconnexions. L'entraînement et l'inférence de l'IA nécessitent un débit qu'un cluster ONTAP unique ne peut atteindre.
Effectuez une mise à l’échelle en ajoutant des clusters: Novus regroupe plusieurs clusters ONTAP indépendants, chacun pouvant se limiter à une seule paire haute disponibilité, dans un namespace unique. Chaque nouveau cluster contribue avec toute sa bande passante, de sorte que le débit total augmente linéairement. Les clients n'ont pas besoin de remonter les montages et le parc n'a pas besoin d'être rééquilibré.
Des métadonnées qui évoluent séparément: La couche de service de métadonnées et le stockage de métadonnées partitionné peuvent chacun comporter de une à plus de 1 000 instances. La capacité de métadonnées et le débit de requêtes sont indépendants du nombre de nœuds de données utilisés.
Nœuds de données à débit de ligne: Chaque nœud de données doit fonctionner à la vitesse NIC maximale pour les lectures et à la vitesse NVMe maximale pour les écritures. Tout débit inutilisé par nœud représente simplement du matériel supplémentaire et un surcoût.
La résilience comme principale contrainte de conception: À l'échelle de 1 000 nœuds de stockage ou plus, les pannes ne sont pas rares. La résilience est une contrainte de conception primordiale et non une simple considération opérationnelle.

Implémentation du système de fichiers réseau (NFS)

Novus est une implémentation logicielle du protocole Network File System (NFS). Elle s'appuie sur NFSv4, plus précisément sur l'extension Parallel NFS (pNFS), pour séparer les chemins d'accès aux métadonnées et aux données. Les clients peuvent utiliser des clients NFS standard pour accéder à Novus Data Director (NDD) à l'aide de NFSv4, tout en accédant directement aux données sur les serveurs de données ONTAP à l'aide de NFSv3.

Système de fichiers réseau parallèle (pNFS)

Le protocole NFS parallèle (pNFS) est une fonctionnalité introduite avec NFSv4.1 qui dissocie la gestion des métadonnées des fichiers de l'accès aux données. Le serveur NFS gère les opérations sur les métadonnées et fournit aux clients des informations sur l'emplacement de stockage des données. Les clients peuvent ainsi accéder directement aux données sur les périphériques de stockage et les serveurs de données dédiés, sans que toutes les opérations de lecture et d'écriture ne transitent par un seul serveur.

Le serveur NFS fournit un layout qui décrit comment les données de chaque fichier sont organisées et comment le client peut y accéder. Selon le layout et la configuration de stockage, un client peut communiquer en parallèle avec un ou plusieurs serveurs de données. Cela améliore les performances de transfert des données et réduit la charge de traitement des données sur le serveur de métadonnées.

pNFS prend en charge plusieurs types de disposition, notamment fichier, bloc, objet et fichier flexible. Chaque type décrit une manière différente de mapper les données de fichier vers le stockage sous-jacent ainsi qu'une méthode correspondante permettant aux clients d'y accéder. Novus utilise la disposition de fichier flexible.

Le layout de fichiers flexible pNFS est un ajout plus récent aux options de layout. Il fournit un layout flexible basé sur les fichiers, capable de décrire des données stockées sur plusieurs serveurs de données et pouvant également prendre en charge des copies miroir. Le client utilise les informations de layout pour sélectionner un chemin d'accès approprié vers le serveur de données pour l'accès. Cela permet aux déploiements d'adapter le placement des données et le comportement d'accès à la configuration de stockage et aux exigences du workload.

Composants principaux

Novus comporte deux composants majeurs qui reposent sur la norme pNFS et sur l'expertise de NetApp en matière de solution de stockage haute performance.

serveur de données ONTAP: Le serveur de données ONTAP implémente le plan de données Novus. Il stocke les données de fichiers et les sert aux clients NFS. Un namespace Novus peut répartir ses données de fichiers sur plusieurs clusters ONTAP, et un cluster ONTAP peut servir de nombreux namespaces.
Novus Data Director (NDD): The Novus Data Director fournit le plan de métadonnées Novus. Il gère les métadonnées du namespace, traite les requêtes des clients relatives aux opérations sur les métadonnées et fournit aux clients des layouts décrivant l’emplacement de stockage des données de fichiers sur l’ensemble des clusters ONTAP. Les clients interagissent avec le NDD à l’aide de NFSv4.2 avec pNFS, tandis que les données de fichiers proprement dites sont accessibles directement depuis ONTAP.

Consultez la documentation "Architecture Novus" pour plus de détails sur ces composants et la manière dont ils fonctionnent ensemble.

Technologies et concepts supplémentaires

Il existe plusieurs concepts supplémentaires pertinents pour Novus et la technologie sous-jacente.

Espace de noms: Un namespace est une structure logique qui organise et identifie les ressources, permettant ainsi de les référencer de manière cohérente dans un périmètre défini. Avec NFSv4, le namespace correspond à la hiérarchie des fichiers et répertoires présentée aux clients ; il offre une vue unifiée des systèmes de fichiers exportés, que les clients peuvent parcourir à l'aide de chemins d'accès. Chaque namespace NDD possède sa propre instance de serveur de métadonnées.
Fédération: La fédération est une technique permettant de connecter des systèmes indépendants afin qu'ils puissent collaborer tout en conservant une gestion distincte; elle peut s'appliquer à l'identité, aux services applicatifs, aux réseaux, aux bases de données et à d'autres ressources. Lorsqu'elle est utilisée avec des fournisseurs de données, la fédération permet aux utilisateurs ou aux applications d'accéder à des données provenant de sources multiples via une interface unifiée, tandis que les fournisseurs conservent la maîtrise de leurs données, favorisant ainsi l'interopérabilité et réduisant le besoin de centraliser ou de dupliquer les informations.
Sharding: Le partitionnement est une technique qui consiste à répartir les données d’une base de données sur plusieurs serveurs, chaque serveur stockant et servant une partie des données. Cette technique améliore la capacité et les performances en distribuant le stockage et la charge des requêtes.
Border Gateway Protocol: Le protocole BGP (Border Gateway Protocol) est le protocole de routage qui échange des informations d'accessibilité entre les systèmes autonomes — les réseaux qui composent Internet — et sélectionne les chemins en fonction de politiques et d'attributs de routage. Novus s'appuie sur BGP pour prendre en charge son architecture mutualisée.
Stockage de métadonnées distribué et évolutif: Un système de métadonnées distribué et évolutif est le système qui gère les métadonnées sur plusieurs nœuds, garantissant une haute disponibilité, une tolérance aux pannes et un accès efficace. Dans Novus, le Novus Data Director (NDD) implémente un système de métadonnées distribué et évolutif (ou simplement un « système de métadonnées ») pour gérer les métadonnées du namespace et fournir aux clients des layouts pour accéder aux données de fichiers.