Objektsegmentierung
Objektsegmentierung ist der Vorgang, ein Objekt in eine Sammlung kleinerer Objekte mit fester Größe aufzuteilen, um die Speicherung und Ressourcennutzung für große Objekte zu optimieren. Auch beim S3-Multi-Part-Upload werden segmentierte Objekte erstellt, wobei ein Objekt die einzelnen Teile darstellt.
Wenn ein Objekt in das StorageGRID-System aufgenommen wird, teilt der LDR-Service das Objekt in Segmente auf und erstellt einen Segment-Container, der die Header-Informationen aller Segmente als Inhalt auflistet.
Wenn Ihr StorageGRID-System einen Archiv-Node enthält, dessen Zieltyp Cloud Tiering — einfacher Speicherdienst ist und das Zielspeichersystem Amazon Web Services (AWS) ist, muss die maximale Segmentgröße kleiner als oder gleich 4.5 gib (4,831,838,208 Byte) sein. Diese Obergrenze stellt sicher, dass die Put-Beschränkung von fünf GB bei AWS nicht überschritten wird. Anträge an AWS, die diesen Wert überschreiten, fallen nicht an.
Beim Abruf eines Segment-Containers fasst der LDR-Service das ursprüngliche Objekt aus seinen Segmenten zusammen und gibt das Objekt dem Client zurück.
Der Container und die Segmente werden nicht notwendigerweise auf demselben Storage-Node gespeichert. Container und Segmente können auf jedem beliebigen Speicherknoten gespeichert werden.
Jedes Segment wird vom StorageGRID System unabhängig behandelt und trägt zur Anzahl der Attribute wie verwaltete Objekte und gespeicherte Objekte bei. Wenn ein im StorageGRID System gespeichertes Objekt beispielsweise in zwei Segmente aufgeteilt wird, erhöht sich der Wert von verwalteten Objekten nach Abschluss der Aufnahme um drei Segmente:
Segmentcontainer + Segment 1 + Segment 2 = drei gespeicherte Objekte
Die Performance beim Umgang mit großen Objekten lässt sich verbessern, indem Folgendes sichergestellt wird:
-
Jedes Gateway und jeder Storage-Node verfügt über eine ausreichende Netzwerkbandbreite für den erforderlichen Durchsatz. Konfigurieren Sie beispielsweise separate Grid- und Client-Netzwerke auf 10-Gbit/s-Ethernet-Schnittstellen.
-
Für den erforderlichen Durchsatz werden ausreichend Gateway und Storage-Nodes implementiert.
-
Jeder Storage-Node verfügt über eine ausreichende Festplatten-I/O-Performance für den erforderlichen Durchsatz.