Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Informationen zu Novus Storage-Systemen

11/03/2026 Beitragende

PDFs

NetApp Novus ist ein leistungsstarkes Storage-System, das für die Anforderungen von KI in sehr großem Maßstab entwickelt wurde. Es erweitert die Erfahrung von NetApp im Enterprise Storage auf die extrem leistungsstarke Infrastruktur, die für Training und Inferenz erforderlich ist. Das Verständnis seiner administrativen Struktur und Konfigurationsoptionen ist entscheidend für effektives Management und optimale Performance.

Überblick

NetApp Novus ist eine Scale-out-Dateispeicherlösung, die für den Durchsatz und die Skalierbarkeit entwickelt wurde, die moderne KI-Workloads erfordern. Sie vereint viele unabhängige ONTAP Storage-Cluster zu einem einzigen Namespace, den Clients als ein Dateisystem sehen. Novus basiert auf parallel NFS (pNFS), das Metadaten von den Dateidaten trennt. Ein dedizierter Metadaten-Service verwaltet den Namespace, während die Storage-Cluster Dateidaten parallel direkt an Clients bereitstellen. Dadurch entfällt die Durchsatzgrenze eines einzelnen Storage-Clusters, das nicht länger begrenzt, wie schnell das System Daten bereitstellen kann.

Ein Novus Deployment lässt sich einfach durch Hinzufügen von Storage-Clustern erweitern. Jeder neue Cluster fügt dem Namespace seine volle Bandbreite und Kapazität hinzu, sodass der Gesamtdurchsatz mit dem Wachstum des Systems steigt, ohne dass Clients erneut eingebunden werden müssen oder störendes Rebalancing erforderlich ist. Der Metadaten-Service skaliert unabhängig von den Datenservern, sodass Sie die Größe des Namespace und die Metadaten-Performance an die jeweilige Arbeitslast anpassen können. Novus ist so konzipiert, dass jeder Storage-Knoten mit voller Geschwindigkeit ausgeführt wird und Komponentenausfälle auch in großem Maßstab als Routine und nicht störend behandelt werden. Das Hauptziel besteht darin, den Datenfluss zu Compute auch dann aufrechtzuerhalten, wenn das System sehr große Größen erreicht.

Clients verwenden einen Standard NFS-Client, wodurch sich Novus einfach an große GPU- und Rechencluster anpassen lässt. Novus ist mandantenfähig, sodass ein einziges Deployment mehrere isolierte Kunden oder Workloads hosten kann, jeweils mit eigenen separaten Namespaces. Es baut zudem auf dem bewährten Datenmanagement und -schutz von ONTAP auf. Für Kunden bedeutet dies Storage, der die GPUs auslasten kann, die Infrastrukturkosten senkt, indem er mehr Performance aus jedem Knoten herausholt, und sehr große Datensätze in einem einzigen Namespace unterstützt.

Novus unterstützt Organisationen, die KI und andere datenintensive Workloads in großem Umfang ausführen. Dazu gehören typischerweise Neoclouds, GPU-as-a-Service-Anbieter, Sovereign Clouds, Hyperscaler sowie große Unternehmen und Forschungseinrichtungen, die KI-Training und -Inferenz betreiben. Novus bietet Vorteile für jeden Kunden, der High-Performance-Computing oder Medienverarbeitung nutzt, einen Durchsatz von mehreren Terabyte pro Sekunde benötigt und sein Storage parallel zur Rechenleistung skalieren möchte.

Prinzipien des Systemdesigns

Novus wurde auf Basis mehrerer Kernprinzipien entwickelt und gebaut. Diese grundlegenden architektonischen Entscheidungen bestimmen seine Performance, Skalierbarkeit und Ausfallsicherheit. Dies unterstützt Kunden, die hochperformantes Storage benötigen, das die GPU auslastet und die Infrastrukturkosten senkt.

Exascale-fähiger Storage: Novus ist als für Exascale ausgelegter Software-Defined Storage Grundlagen-Stack konzipiert. Es kombiniert horizontal skalierte pNFS-Metadatenserver mit separaten und disaggregierten Datenservern.
Durchsatz jenseits der herkömmlichen ONTAP Clustergrenzen: Traditionell erreicht ein einzelner ONTAP Cluster eine feste Durchsatzgrenze, die durch die Anzahl seiner Controller und die Bandbreite der Verbindungen festgelegt ist. KI-Training und -Inferenz benötigen jedoch einen Durchsatz, den ein einzelner ONTAP Cluster nicht erreichen kann.
Skalierung durch Hinzufügen von Clustern: Novus fasst viele unabhängige ONTAP Cluster, von denen jeder nur aus einem HA-Paar besteht, in einem einzigen Namespace zusammen. Jeder neue Cluster steuert seine volle Bandbreite bei, sodass der Gesamtdurchsatz linear ansteigt. Clients müssen nicht erneut einbinden, und die Storage-Umgebung muss nicht neu ausbalanciert werden.
Separat skalierbare Metadaten: Die Metadatendienstschicht und der geshardete Metadatenspeicher können jeweils von einer auf mehr als 1.000 Instanzen anwachsen. Metadatenkapazität und Anforderungsrate hängen nicht von der Anzahl der verwendeten Datenknoten ab.
Datenknoten mit Leitungsgeschwindigkeit: Jeder Datenknoten sollte beim Lesen die volle Geschwindigkeit der Netzwerkkarte und beim Schreiben die volle NVMe-Geschwindigkeit erreichen. Jeglicher ungenutzter Durchsatz pro Knoten stellt lediglich zusätzliche Hardware und Kosten dar.
Resilienz als wichtigste Designrandbedingung: Bei einer Größenordnung von 1.000 oder mehr Storage-Knoten sind Ausfälle keine Seltenheit. Ausfallsicherheit ist eine grundlegende Designvorgabe und keine nachträgliche betriebliche Überlegung.

Implementierung von Network File System (NFS)

Novus ist eine softwaredefinierte Implementierung des Network File System (NFS)-Protokolls. Es nutzt NFSv4, insbesondere die Erweiterung Parallel NFS (pNFS), um Metadaten- und Datenpfade zu trennen. Clients können mit Standard-NFS-Clients über NFSv4 auf den Novus Data Director (NDD) zugreifen, während sie über NFSv3 direkt auf die Daten auf den ONTAP Datenservern zugreifen.

Paralleles Netzwerkdateisystem (pNFS)

Parallel NFS (pNFS) ist eine mit NFSv4.1 eingeführte Funktion, die die Verwaltung von Dateimetadaten vom Zugriff auf Dateidaten trennt. Der NFS-Server übernimmt die Metadatenoperationen und stellt Clients Informationen darüber bereit, wo die Dateidaten gespeichert sind. Clients können dann direkt auf die Daten auf den dedizierten Storage-Geräten und Datenservern zugreifen, anstatt alle Lese- und Schreibvorgänge über den einzelnen Server zu senden.

Der NFS-Server stellt ein Layout bereit, das beschreibt, wie die Daten jeder Datei angeordnet sind und wie der Client darauf zugreifen kann. Abhängig vom Layout und der Storage-Konfiguration kann ein Client parallel mit einem oder mehreren Datenservern kommunizieren. Dies erhöht die Performance der Datenübertragung und reduziert die Last der Datenverarbeitung auf dem Metadatenserver.

pNFS unterstützt mehrere Layouttypen, darunter Datei-, Block-, Objekt- und flexible Datei-Layouts. Jeder Typ beschreibt eine andere Art, Dateidaten dem zugrunde liegenden Storage zuzuordnen, sowie eine entsprechende Art des Zugriffs für Clients. Novus verwendet das flexible Datei-Layout.

Das flexible Dateilayout von pNFS ist eine neuere Ergänzung zu den Layoutoptionen. Es bietet ein flexibles, dateibasiertes Layout, das Daten auf mehreren Datenservern beschreiben und auch gespiegelte Kopien unterstützen kann. Der Client nutzt die Layoutinformationen, um den geeigneten Datenserver-Pfad für den Zugriff auszuwählen. Dadurch können Deployments die Datenplatzierung und das Zugriffsverhalten an die Storage-Konfiguration und die Workload-Anforderungen anpassen.

Hauptkomponenten

Es gibt zwei Hauptkomponenten von Novus, die auf dem pNFS-Standard und der Enterprise-Storage-Expertise von NetApp basieren.

ONTAP Datenserver: Der ONTAP Datenserver implementiert die Novus Ebenen. Er speichert Dateidaten und stellt sie NFS-Clients zur Verfügung. Ein Novus Namespace kann seine Dateidaten auf mehrere ONTAP Cluster verteilen, und ein ONTAP Cluster kann mehrere Namespaces bedienen.
Novus Data Director (NDD): Der Novus Data Director (NDD) stellt die Novus Metadatenebene bereit. Er verwaltet die Namespace-Metadaten, verarbeitet Client-Anfragen für Metadatenoperationen und stellt Clients Layouts bereit, die beschreiben, wo Dateidaten über die ONTAP Cluster hinweg gespeichert sind. Clients interagieren mit dem NDD über NFSv4.2 mit pNFS, während der Zugriff auf die eigentlichen Dateidaten direkt über ONTAP erfolgt.

Weitere Details zu diesen Komponenten und ihrem Zusammenwirken enthält "Novus Architektur".

Zusätzliche Technologien und Konzepte

Es gibt noch einige weitere Konzepte, die für Novus und die zugrunde liegende Technologie relevant sind.

Namensraum: Ein Namespace ist eine logische Struktur, die Ressourcen organisiert und identifiziert und so deren konsistente Referenzierung innerhalb eines definierten Bereichs ermöglicht. Mit NFSv4 ist der Namespace die Hierarchie von Dateien und Verzeichnissen, die Clients präsentiert wird; er bietet eine einheitliche Ansicht exportierter Dateisysteme, die Clients mithilfe von Pfaden durchsuchen können. Jeder NDD Namespace verfügt über eine eigene Metadatenserverinstanz.
Föderation: Verbund ist eine Technik zur Verbindung unabhängiger Systeme, damit sie zusammenarbeiten können, während sie weiterhin getrennt verwaltet werden; sie kann auf Identitäten, Applikation Services, Netzwerke, Datenbanken und andere Ressourcen angewendet werden. Bei der Verwendung mit Datenanbietern ermöglicht Verbund Benutzern oder Applikationen den Zugriff auf Daten aus mehreren Quellen über eine einheitliche Schnittstelle, während die Anbieter die Kontrolle über ihre Daten behalten; dies unterstützt die Interoperabilität und verringert den Bedarf, Informationen zu zentralisieren oder zu duplizieren.
Sharding: Sharding ist eine Technik, um die Daten einer Datenbank auf mehrere Server aufzuteilen, wobei jeder Server einen Teil der Daten speichert und bereitstellt. Kapazität und Performance werden durch die Verteilung von Storage und Abfragelast verbessert.
Border Gateway Protocol: Das Border Gateway Protocol (BGP) ist das Routing-Protokoll, das Erreichbarkeitsinformationen zwischen autonomen Systemen, den Netzwerken, aus denen das Internet besteht, austauscht und Pfade anhand von Routing-Richtlinien und Attributen auswählt. Novus nutzt BGP zur Unterstützung seiner mandantenfähigen Architektur.
Skalierbarer verteilter Metadatenspeicher: Ein skalierbarer verteilter Metadatenspeicher ist ein System, das Metadaten über mehrere Knoten hinweg verwaltet und so hohe Verfügbarkeit, Fehlertoleranz und effizienten Zugriff gewährleistet. In Novus implementiert der Novus Data Director (NDD) einen skalierbaren verteilten Metadatenspeicher (oder einfach Metadatenspeicher), um Namespace-Metadaten zu verarbeiten und Clients Layouts für den Zugriff auf Dateidaten bereitzustellen.