Gestire lo storage dei metadati degli oggetti
Suggerisci modifiche
PDF
La capacità dei metadati degli oggetti di un sistema StorageGRID controlla il numero massimo di oggetti che possono essere memorizzati in tale sistema. Per garantire che il sistema StorageGRID disponga di spazio sufficiente per memorizzare nuovi oggetti, è necessario comprendere dove e come StorageGRID memorizza i metadati degli oggetti.
Che cos'è il metadata a oggetti?
I metadati degli oggetti sono informazioni che descrivono un oggetto. StorageGRID utilizza i metadati degli oggetti per tenere traccia delle posizioni di tutti gli oggetti nella griglia e gestire il ciclo di vita di ciascun oggetto nel tempo.
Per un oggetto in StorageGRID, i metadati dell'oggetto includono i seguenti tipi di informazioni:
-
Metadati di sistema, tra cui un ID univoco per ciascun oggetto (UUID), il nome dell'oggetto, il nome del bucket S3 o del container Swift, il nome o l'ID dell'account tenant, la dimensione logica dell'oggetto, la data e l'ora in cui l'oggetto è stato creato per la prima volta, e la data e l'ora dell'ultima modifica dell'oggetto.
-
Qualsiasi coppia di valori chiave metadati utente personalizzata associata all'oggetto.
-
Per gli oggetti S3, qualsiasi coppia chiave-valore tag oggetto associata all'oggetto.
-
Per le copie di oggetti replicate, la posizione di storage corrente di ciascuna copia.
-
Per le copie di oggetti con codifica erasure, la posizione di storage corrente di ciascun frammento.
-
Per le copie di oggetti in un Cloud Storage Pool, la posizione dell'oggetto, incluso il nome del bucket esterno e l'identificatore univoco dell'oggetto.
-
Per oggetti segmentati e multiparte, identificatori di segmenti e dimensioni dei dati.
Come vengono memorizzati i metadati degli oggetti?
StorageGRID mantiene i metadati degli oggetti in un database Cassandra, che viene memorizzato indipendentemente dai dati degli oggetti. Per garantire la ridondanza e proteggere i metadati degli oggetti dalla perdita, StorageGRID memorizza tre copie dei metadati per tutti gli oggetti del sistema in ogni sito.
Questa figura rappresenta i nodi di storage in due siti. Ogni sito ha la stessa quantità di metadati oggetto e i metadati di ciascun sito sono suddivisi tra tutti i nodi di storage di quel sito.
Dove sono memorizzati i metadati degli oggetti?
Questa figura rappresenta i volumi di storage per un singolo nodo di storage.
Come mostrato nella figura, StorageGRID riserva spazio per i metadati degli oggetti sul volume di storage 0 di ciascun nodo di storage. Utilizza lo spazio riservato per memorizzare i metadati degli oggetti e per eseguire le operazioni essenziali del database. Qualsiasi spazio rimanente sul volume di storage 0 e tutti gli altri volumi di storage nel nodo di storage vengono utilizzati esclusivamente per i dati a oggetti (copie replicate e frammenti con codifica di cancellazione).
La quantità di spazio riservato ai metadati degli oggetti su un nodo di storage specifico dipende da diversi fattori, descritti di seguito.
Impostazione spazio riservato metadati
L' Metadata Reserved Space è un'impostazione a livello di sistema che rappresenta la quantità di spazio che verrà riservata ai metadati sul volume 0 di ogni nodo di storage. Come mostrato nella tabella, il valore predefinito di questa impostazione si basa su:
-
La versione software utilizzata al momento dell'installazione iniziale di StorageGRID.
-
La quantità di RAM su ciascun nodo di storage.
| Versione utilizzata per l'installazione iniziale di StorageGRID | Quantità di RAM sui nodi di storage | Impostazione predefinita Metadata Reserved Space (spazio riservato metadati) |
|---|---|---|
da 11.5 a 11.7 |
128 GB o più su ciascun nodo di storage nella griglia |
8 TB (8,000 GB) |
Meno di 128 GB su qualsiasi nodo di storage nel grid |
3 TB (3,000 GB) |
|
da 11.1 a 11.4 |
128 GB o più su ciascun nodo di storage in un sito qualsiasi |
4 TB (4,000 GB) |
Meno di 128 GB su qualsiasi nodo di storage in ogni sito |
3 TB (3,000 GB) |
|
11.0 o versioni precedenti |
Qualsiasi importo |
2 TB (2,000 GB) |
Visualizza impostazione spazio riservato metadati
Per visualizzare l'impostazione spazio riservato metadati per il sistema StorageGRID, procedere come segue.
-
Selezionare CONFIGURATION > System > Storage options.
-
Nella tabella Storage Watermarks, individuare Metadata Reserved Space.
Nella schermata, il valore Metadata Reserved Space è 8,000 GB (8 TB). Questa è l'impostazione predefinita per una nuova installazione di StorageGRID 11.6 o superiore in cui ciascun nodo di storage dispone di almeno 128 GB di RAM.
Spazio riservato effettivo per i metadati
A differenza dell'impostazione spazio riservato metadati a livello di sistema, per ciascun nodo di storage viene determinato l' spazio riservato effettivo per i metadati dell'oggetto. Per qualsiasi nodo di storage, lo spazio riservato effettivo per i metadati dipende dalle dimensioni del volume 0 per il nodo e dall'impostazione Metadata Reserved Space a livello di sistema.
| Dimensione del volume 0 per il nodo | Spazio riservato effettivo per i metadati |
|---|---|
Meno di 500 GB (non in produzione) |
10% del volume 0 |
500 GB o superiore |
Il minore di questi valori:
|
Visualizzare lo spazio riservato effettivo per i metadati
Per visualizzare lo spazio riservato effettivo per i metadati su un nodo di storage specifico, procedere come segue.
-
Da Grid Manager, selezionare NODES > Storage Node.
-
Selezionare la scheda Storage.
-
Posizionare il cursore sul grafico Storage used - Object Metadata (Storage utilizzato - metadati oggetto) e individuare il valore Actual reserved (riservato).
Nella schermata, il valore effettivo riservato è 8 TB. Questa schermata riguarda un nodo di storage di grandi dimensioni in una nuova installazione di StorageGRID 11.6. Poiché l'impostazione spazio riservato metadati a livello di sistema è inferiore al volume 0 per questo nodo di storage, lo spazio riservato effettivo per questo nodo corrisponde all'impostazione spazio riservato metadati.
Esempio di spazio riservato effettivo dei metadati
Si supponga di installare un nuovo sistema StorageGRID utilizzando la versione 11.7. In questo esempio, si supponga che ogni nodo di storage abbia più di 128 GB di RAM e che il volume 0 del nodo di storage 1 (SN1) sia di 6 TB. In base a questi valori:
-
L'opzione Metadata Reserved Space a livello di sistema è impostata su 8 TB. (Questo è il valore predefinito per una nuova installazione di StorageGRID 11.6 o superiore se ogni nodo di storage ha più di 128 GB di RAM).
-
Lo spazio riservato effettivo per i metadati per SN1 è di 6 TB. (L'intero volume è riservato perché il volume 0 è più piccolo dell'impostazione Metadata Reserved Space).
Spazio consentito di metadati
Lo spazio riservato effettivo di ciascun nodo di storage per i metadati viene suddiviso nello spazio disponibile per i metadati dell'oggetto (il spazio consentito per i metadati) e nello spazio necessario per le operazioni essenziali del database (come la compattazione e la riparazione) e per i futuri aggiornamenti hardware e software. Lo spazio consentito per i metadati regola la capacità complessiva degli oggetti.
La seguente tabella mostra come StorageGRID calcola lo spazio di metadati consentito* per diversi nodi di storage, in base alla quantità di memoria per il nodo e allo spazio riservato effettivo per i metadati.
Quantità di memoria sul nodo di storage |
|||
≪ 128 GB |
>= 128 GB |
Spazio riservato effettivo per i metadati |
|
≪= 4 TB |
60% dello spazio riservato effettivo per i metadati, fino a un massimo di 1.32 TB |
60% dello spazio riservato effettivo per i metadati, fino a un massimo di 1.98 TB |
|
Visualizzare lo spazio consentito per i metadati
Per visualizzare lo spazio di metadati consentito per un nodo di storage, procedere come segue.
-
Da Grid Manager, selezionare NODES.
-
Selezionare il nodo di storage.
-
Selezionare la scheda Storage.
-
Posizionare il cursore sul grafico dei metadati Storage used - Object e individuare il valore Allowed.
Nella schermata, il valore Allowed è 3.96 TB, ovvero il valore massimo per un nodo di storage il cui spazio riservato effettivo per i metadati è superiore a 4 TB.
Il valore Allowed corrisponde a questa metrica Prometheus:
storagegrid_storage_utilization_metadata_allowed_bytes
Esempio di spazio consentito per i metadati
Si supponga di installare un sistema StorageGRID utilizzando la versione 11.6. In questo esempio, si supponga che ogni nodo di storage abbia più di 128 GB di RAM e che il volume 0 del nodo di storage 1 (SN1) sia di 6 TB. In base a questi valori:
-
L'opzione Metadata Reserved Space a livello di sistema è impostata su 8 TB. (Questo è il valore predefinito per StorageGRID 11.6 o superiore quando ogni nodo di storage ha più di 128 GB di RAM).
-
Lo spazio riservato effettivo per i metadati per SN1 è di 6 TB. (L'intero volume è riservato perché il volume 0 è più piccolo dell'impostazione Metadata Reserved Space).
-
Lo spazio consentito per i metadati su SN1 è di 3 TB, in base al calcolo mostrato nella tabella per lo spazio consentito per i metadati: (Spazio riservato effettivo per i metadati − 1 TB) × 60%, fino a un massimo di 3.96 TB.
In che modo i nodi di storage di diverse dimensioni influiscono sulla capacità degli oggetti
Come descritto in precedenza, StorageGRID distribuisce uniformemente i metadati degli oggetti nei nodi di storage di ciascun sito. Per questo motivo, se un sito contiene nodi di storage di dimensioni diverse, il nodo più piccolo del sito determina la capacità di metadati del sito.
Si consideri il seguente esempio:
-
Si dispone di un grid a sito singolo contenente tre nodi di storage di dimensioni diverse.
-
L'impostazione Metadata Reserved Space è 4 TB.
-
I nodi di storage hanno i seguenti valori per lo spazio riservato effettivo dei metadati e per lo spazio consentito dei metadati.
Nodo di storage Dimensione del volume 0 Spazio riservato effettivo dei metadati Spazio consentito di metadati SN1
2.2 TB
2.2 TB
1.32 TB
SN2
5 TB
4 TB
1.98 TB
SN3
6 TB
4 TB
1.98 TB
Poiché i metadati degli oggetti sono distribuiti in modo uniforme tra i nodi di storage di un sito, ciascun nodo di questo esempio può contenere solo 1.32 TB di metadati. I 0.66 TB aggiuntivi di spazio consentito per i metadati SN2 e SN3 non possono essere utilizzati.
Analogamente, poiché StorageGRID gestisce tutti i metadati degli oggetti per un sistema StorageGRID in ogni sito, la capacità complessiva dei metadati di un sistema StorageGRID è determinata dalla capacità dei metadati degli oggetti del sito più piccolo.
Inoltre, poiché la capacità dei metadati degli oggetti controlla il numero massimo di oggetti, quando un nodo esaurisce la capacità dei metadati, la griglia è effettivamente piena.
-
Per informazioni su come monitorare la capacità dei metadati degli oggetti per ciascun nodo di storage, vedere le istruzioni per "Monitoraggio di StorageGRID".
-
Per aumentare la capacità dei metadati degli oggetti per il sistema, "espandi il tuo grid" Aggiungendo nuovi nodi di storage.