Gestione dello storage dei metadati degli oggetti
Suggerisci modifiche
PDF
La capacità dei metadati degli oggetti di un sistema StorageGRID controlla il numero massimo di oggetti che possono essere memorizzati in tale sistema. Per garantire che il sistema StorageGRID disponga di spazio sufficiente per memorizzare nuovi oggetti, è necessario comprendere dove e come StorageGRID memorizza i metadati degli oggetti.
Che cos'è il metadata a oggetti?
I metadati degli oggetti sono informazioni che descrivono un oggetto. StorageGRID utilizza i metadati degli oggetti per tenere traccia delle posizioni di tutti gli oggetti nella griglia e gestire il ciclo di vita di ciascun oggetto nel tempo.
Per un oggetto in StorageGRID, i metadati dell'oggetto includono i seguenti tipi di informazioni:
-
Metadati di sistema, tra cui un ID univoco per ciascun oggetto (UUID), il nome dell'oggetto, il nome del bucket S3 o del container Swift, il nome o l'ID dell'account tenant, la dimensione logica dell'oggetto, la data e l'ora in cui l'oggetto è stato creato per la prima volta, e la data e l'ora dell'ultima modifica dell'oggetto.
-
Qualsiasi coppia di valori chiave metadati utente personalizzata associata all'oggetto.
-
Per gli oggetti S3, qualsiasi coppia chiave-valore tag oggetto associata all'oggetto.
-
Per le copie di oggetti replicate, la posizione di storage corrente di ciascuna copia.
-
Per le copie di oggetti con codifica erasure, la posizione di storage corrente di ciascun frammento.
-
Per le copie di oggetti in un Cloud Storage Pool, la posizione dell'oggetto, incluso il nome del bucket esterno e l'identificatore univoco dell'oggetto.
-
Per oggetti segmentati e multiparte, identificatori di segmenti e dimensioni dei dati.
Come vengono memorizzati i metadati degli oggetti?
StorageGRID mantiene i metadati degli oggetti in un database Cassandra, che viene memorizzato indipendentemente dai dati degli oggetti. Per garantire la ridondanza e proteggere i metadati degli oggetti dalla perdita, StorageGRID memorizza tre copie dei metadati per tutti gli oggetti del sistema in ogni sito. Le tre copie dei metadati degli oggetti sono distribuite in modo uniforme in tutti i nodi di storage di ciascun sito.
Questa figura rappresenta i nodi di storage in due siti. Ogni sito ha la stessa quantità di metadati degli oggetti, che sono distribuiti in modo uguale tra i nodi di storage di quel sito.
Dove sono memorizzati i metadati degli oggetti?
Questa figura rappresenta i volumi di storage per un singolo nodo di storage.
Come mostrato nella figura, StorageGRID riserva spazio per i metadati degli oggetti sul volume di storage 0 di ciascun nodo di storage. Utilizza lo spazio riservato per memorizzare i metadati degli oggetti e per eseguire le operazioni essenziali del database. Qualsiasi spazio rimanente sul volume di storage 0 e tutti gli altri volumi di storage nel nodo di storage vengono utilizzati esclusivamente per i dati a oggetti (copie replicate e frammenti con codifica di cancellazione).
La quantità di spazio riservato ai metadati degli oggetti su un nodo di storage specifico dipende da una serie di fattori, descritti di seguito.
Impostazione spazio riservato metadati
L' Metadata Reserved Space è un'impostazione a livello di sistema che rappresenta la quantità di spazio che verrà riservata ai metadati sul volume 0 di ogni nodo di storage. Come mostrato nella tabella, il valore predefinito di questa impostazione per StorageGRID 11.5 si basa su quanto segue:
-
La versione software utilizzata al momento dell'installazione iniziale di StorageGRID.
-
La quantità di RAM su ciascun nodo di storage.
| Versione utilizzata per l'installazione iniziale di StorageGRID | Quantità di RAM sui nodi di storage | Impostazione predefinita spazio riservato metadati per StorageGRID 11.5 |
|---|---|---|
11.5 |
128 GB o più su ciascun nodo di storage nella griglia |
8 TB (8,000 GB) |
Meno di 128 GB su qualsiasi nodo di storage nel grid |
3 TB (3,000 GB) |
|
da 11.1 a 11.4 |
128 GB o più su ciascun nodo di storage in un sito qualsiasi |
4 TB (4,000 GB) |
Meno di 128 GB su qualsiasi nodo di storage in ogni sito |
3 TB (3,000 GB) |
|
11.0 o versioni precedenti |
Qualsiasi importo |
2 TB (2,000 GB) |
Per visualizzare l'impostazione spazio riservato metadati per il sistema StorageGRID:
-
Selezionare Configuration > System Settings > Storage Options.
-
Nella tabella Storage Watermarks, individuare Metadata Reserved Space.
Nella schermata, il valore Metadata Reserved Space è 8,000 GB (8 TB). Questa è l'impostazione predefinita per una nuova installazione di StorageGRID 11.5 in cui ogni nodo di storage dispone di almeno 128 GB di RAM.
Spazio riservato effettivo per i metadati
A differenza dell'impostazione spazio riservato metadati a livello di sistema, per ciascun nodo di storage viene determinato l' spazio riservato effettivo per i metadati dell'oggetto. Per qualsiasi nodo di storage, lo spazio riservato effettivo per i metadati dipende dalle dimensioni del volume 0 per il nodo e dall'impostazione Metadata Reserved Space a livello di sistema.
| Dimensione del volume 0 per il nodo | Spazio riservato effettivo per i metadati |
|---|---|
Meno di 500 GB (non in produzione) |
10% del volume 0 |
500 GB o superiore |
Il minore di questi valori:
|
Per visualizzare lo spazio riservato effettivo per i metadati su un nodo di storage specifico:
-
Da Grid Manager, selezionare Nodes Storage Node.
-
Selezionare la scheda Storage.
-
Posizionare il cursore sul grafico Storage used — Object Metadata (Storage utilizzato — metadati oggetto) e individuare il valore Actual reserved (riservato).
Nella schermata, il valore effettivo riservato è 8 TB. Questa schermata riguarda un nodo di storage di grandi dimensioni in una nuova installazione di StorageGRID 11.5. Poiché l'impostazione spazio riservato metadati a livello di sistema è inferiore al volume 0 per questo nodo di storage, lo spazio riservato effettivo per questo nodo corrisponde all'impostazione spazio riservato metadati.
Il valore effettivo riservato corrisponde a questa metrica Prometheus:
storagegrid_storage_utilization_metadata_reserved_bytes
Esempio di spazio riservato effettivo dei metadati
Si supponga di installare un nuovo sistema StorageGRID utilizzando la versione 11.5. In questo esempio, si supponga che ogni nodo di storage abbia più di 128 GB di RAM e che il volume 0 del nodo di storage 1 (SN1) sia di 6 TB. In base a questi valori:
-
L'opzione Metadata Reserved Space a livello di sistema è impostata su 8 TB. (Questo è il valore predefinito per una nuova installazione di StorageGRID 11.5 se ogni nodo di storage ha più di 128 GB di RAM).
-
Lo spazio riservato effettivo per i metadati per SN1 è di 6 TB. (L'intero volume è riservato perché il volume 0 è più piccolo dell'impostazione Metadata Reserved Space).
Spazio consentito di metadati
Lo spazio riservato effettivo di ciascun nodo di storage per i metadati viene suddiviso nello spazio disponibile per i metadati dell'oggetto (il spazio consentito per i metadati) e nello spazio necessario per le operazioni essenziali del database (come la compattazione e la riparazione) e per i futuri aggiornamenti hardware e software. Lo spazio consentito per i metadati regola la capacità complessiva degli oggetti.
La tabella seguente riassume il modo in cui StorageGRID determina il valore dello spazio dei metadati consentito per un nodo di storage.
| Spazio riservato effettivo per i metadati | Spazio consentito di metadati |
|---|---|
4 TB o meno |
60% dello spazio riservato effettivo per i metadati, fino a un massimo di 1.98 TB |
Più di 4 TB |
(Spazio riservato effettivo per i metadati − 1 TB) × 60%, fino a un massimo di 2.64 TB |
|
Se il sistema StorageGRID memorizza (o si prevede di memorizzare) più di 2.64 TB di metadati su qualsiasi nodo di storage, in alcuni casi lo spazio consentito per i metadati può essere aumentato. Se i nodi di storage hanno ciascuno più di 128 GB di RAM e spazio libero disponibile sul volume di storage 0, contattare il rappresentante NetApp. NetApp esaminerà i tuoi requisiti e, se possibile, aumenterà lo spazio di metadati consentito per ciascun nodo di storage. |
Per visualizzare lo spazio di metadati consentito per un nodo di storage:
-
Da Grid Manager, selezionare Node Storage Node.
-
Selezionare la scheda Storage.
-
Posizionare il cursore del mouse sul grafico Storage used — Object Metadata (Storage utilizzato — metadati oggetto) e individuare il valore Allowed (consentito).
Nella schermata, il valore Allowed è 2.64 TB, ovvero il valore massimo per un nodo di storage il cui spazio riservato effettivo per i metadati è superiore a 4 TB.
Il valore Allowed corrisponde a questa metrica Prometheus:
storagegrid_storage_utilization_metadata_allowed_bytes
Esempio di spazio consentito per i metadati
Si supponga di installare un sistema StorageGRID utilizzando la versione 11.5. In questo esempio, si supponga che ogni nodo di storage abbia più di 128 GB di RAM e che il volume 0 del nodo di storage 1 (SN1) sia di 6 TB. In base a questi valori:
-
L'opzione Metadata Reserved Space a livello di sistema è impostata su 8 TB. (Questo è il valore predefinito per StorageGRID 11.5 quando ogni nodo di storage ha più di 128 GB di RAM).
-
Lo spazio riservato effettivo per i metadati per SN1 è di 6 TB. (L'intero volume è riservato perché il volume 0 è più piccolo dell'impostazione Metadata Reserved Space).
-
Lo spazio consentito per i metadati su SN1 è di 2.64 TB. (Valore massimo per lo spazio riservato effettivo).
In che modo i nodi di storage di diverse dimensioni influiscono sulla capacità degli oggetti
Come descritto in precedenza, StorageGRID distribuisce uniformemente i metadati degli oggetti nei nodi di storage di ciascun sito. Per questo motivo, se un sito contiene nodi di storage di dimensioni diverse, il nodo più piccolo del sito determina la capacità di metadati del sito.
Si consideri il seguente esempio:
-
Si dispone di un grid a sito singolo contenente tre nodi di storage di dimensioni diverse.
-
L'impostazione Metadata Reserved Space è 4 TB.
-
I nodi di storage hanno i seguenti valori per lo spazio riservato effettivo dei metadati e per lo spazio consentito dei metadati.
Nodo di storage Dimensione del volume 0 Spazio riservato effettivo dei metadati Spazio consentito di metadati SN1
2.2 TB
2.2 TB
1.32 TB
SN2
5 TB
4 TB
1.98 TB
SN3
6 TB
4 TB
1.98 TB
Poiché i metadati degli oggetti sono distribuiti in modo uniforme tra i nodi di storage di un sito, ciascun nodo di questo esempio può contenere solo 1.32 TB di metadati. Non è possibile utilizzare i 0.66 TB aggiuntivi di spazio consentito per i metadati SN2 e SN3.
Analogamente, poiché StorageGRID gestisce tutti i metadati degli oggetti per un sistema StorageGRID in ogni sito, la capacità complessiva dei metadati di un sistema StorageGRID è determinata dalla capacità dei metadati degli oggetti del sito più piccolo.
Inoltre, poiché la capacità dei metadati degli oggetti controlla il numero massimo di oggetti, quando un nodo esaurisce la capacità dei metadati, la griglia è effettivamente piena.
-
Per informazioni su come monitorare la capacità dei metadati degli oggetti per ciascun nodo di storage:
-
Per aumentare la capacità dei metadati degli oggetti per il sistema, è necessario aggiungere nuovi nodi di storage: