Gestione el almacenamiento de metadatos de objetos
Sugerir cambios
PDF
La capacidad de metadatos de objetos de un sistema StorageGRID controla la cantidad máxima de objetos que se pueden almacenar en ese sistema. Para garantizar que el sistema StorageGRID tenga espacio suficiente para almacenar objetos nuevos, debe comprender dónde y cómo StorageGRID almacena los metadatos de objetos.
¿Qué son los metadatos de objetos?
Los metadatos de objetos son cualquier información que describa un objeto. StorageGRID utiliza metadatos de objetos para realizar un seguimiento de las ubicaciones de todos los objetos en el grid y gestionar el ciclo de vida de cada objeto a lo largo del tiempo.
Para un objeto en StorageGRID, los metadatos de objeto incluyen los siguientes tipos de información:
-
Metadatos del sistema, incluidos un ID único para cada objeto (UUID), el nombre del objeto, el nombre del bloque de S3 o el contenedor Swift, el nombre o el ID de la cuenta de inquilino, el tamaño lógico del objeto, la fecha y la hora en que se creó el objeto por primera vez, y la fecha y hora en que se modificó por última vez el objeto.
-
Todos los pares de valor de clave de metadatos de usuario personalizados asociados con el objeto.
-
Para los objetos S3, cualquier par de etiqueta de objeto clave-valor asociado al objeto.
-
Para las copias de objetos replicadas, la ubicación de almacenamiento actual de cada copia.
-
Para las copias de objetos codificados de borrado, la ubicación actual de almacenamiento de cada fragmento.
-
Para las copias de objetos en un Cloud Storage Pool, la ubicación del objeto, incluido el nombre del bloque externo y el identificador único del objeto.
-
Para objetos segmentados y objetos multipartes, identificadores de segmentos y tamaños de datos.
¿Cómo se almacenan los metadatos de objetos?
StorageGRID mantiene los metadatos de objetos en una base de datos de Cassandra, que se almacena independientemente de los datos de objetos. Para proporcionar redundancia y proteger los metadatos de objetos de la pérdida, StorageGRID almacena tres copias de los metadatos para todos los objetos del sistema en cada sitio.
Esta figura representa los nodos de almacenamiento de dos sitios. Cada sitio tiene la misma cantidad de metadatos de objeto y los metadatos de cada sitio se subdividen entre todos los nodos de almacenamiento de ese sitio.
¿Dónde se almacenan los metadatos de objetos?
En esta figura, se representan los volúmenes de almacenamiento para un único nodo de almacenamiento.
Como se muestra en la figura, StorageGRID reserva espacio para los metadatos del objeto en el volumen de almacenamiento 0 de cada nodo de almacenamiento. Utiliza el espacio reservado para almacenar metadatos de objetos y realizar operaciones esenciales de la base de datos. Cualquier espacio restante en el volumen de almacenamiento 0 y todos los demás volúmenes de almacenamiento del nodo de almacenamiento se utilizan exclusivamente para los datos de objetos (copias replicadas y fragmentos codificados de borrado).
La cantidad de espacio reservado para los metadatos de objeto en un nodo de almacenamiento en particular depende de varios factores, que se describen a continuación.
Configuración de espacio reservado de metadatos
El Metadata Reserved Space es una configuración para todo el sistema que representa la cantidad de espacio que se reservará para metadatos en el volumen 0 de cada nodo de almacenamiento. Como se muestra en la tabla, el valor predeterminado de esta configuración se basa en:
-
La versión de software que estaba utilizando cuando instaló inicialmente StorageGRID.
-
La cantidad de RAM en cada nodo de almacenamiento.
| Versión utilizada para la instalación inicial de StorageGRID | Cantidad de RAM en los nodos de almacenamiento | Valor de Espacio Reservado de Metadatos por Defecto |
|---|---|---|
11,5 a 11,7 |
128 GB o más en cada nodo de almacenamiento del grid |
8 TB (8,000 GB) |
Debe haber menos de 128 GB en cualquier nodo de almacenamiento del grid |
3 TB (3,000 GB) |
|
11.1 a 11.4 |
128 GB o más en cada nodo de almacenamiento en un sitio |
4 TB (4,000 GB) |
Menos de 128 GB en cualquier nodo de almacenamiento de cada sitio |
3 TB (3,000 GB) |
|
11.0 o anterior |
Cualquier cantidad |
2 TB (2,000 GB) |
Configuración de Ver Espacio Reservado de Metadatos
Siga estos pasos para ver la configuración de Espacio reservado de metadatos para el sistema StorageGRID.
-
Seleccione CONFIGURACIÓN > sistema > Opciones de almacenamiento.
-
En la tabla Marcas de agua de almacenamiento, busque espacio reservado de metadatos.
En la captura de pantalla, el valor espacio reservado de metadatos es 8,000 GB (8 TB). Este es el valor predeterminado para una nueva instalación de StorageGRID 11,6 o superior en la que cada nodo de almacenamiento tiene 128 GB o más de RAM.
Espacio reservado real para los metadatos
A diferencia de la configuración espacio reservado de metadatos para todo el sistema, se determina el espacio reservado real para los metadatos del objeto para cada nodo de almacenamiento. Para un nodo de almacenamiento determinado, el espacio reservado real para los metadatos depende del tamaño del volumen 0 para el nodo y de la configuración del espacio reservado de metadatos* para todo el sistema.
| El tamaño del volumen 0 para el nodo | Espacio reservado real para los metadatos |
|---|---|
Menos de 500 GB (no uso en producción) |
10% del volumen 0 |
500 GB o más |
El menor de estos valores:
|
Ver el espacio reservado real para metadatos
Siga estos pasos para ver el espacio reservado real para metadatos en un nodo de almacenamiento en particular.
-
En Grid Manager, seleccione NODES > Storage Node.
-
Seleccione la ficha almacenamiento.
-
Coloque el cursor sobre el gráfico Almacenamiento usado - Metadatos de objetos y localice el valor Real reserved.
En la captura de pantalla, el valor Real reservado es 8 TB. Esta captura de pantalla es para un nodo de almacenamiento grande en una nueva instalación de StorageGRID 11.6. Debido a que la configuración de espacio reservado de metadatos para todo el sistema es menor que el volumen 0 para este nodo de almacenamiento, el espacio reservado real para este nodo es igual a la configuración de espacio reservado de metadatos.
Ejemplo de espacio de metadatos reservado real
Supongamos que instala un nuevo sistema StorageGRID con la versión 11,7. Para este ejemplo, supongamos que cada nodo de almacenamiento tiene más de 128 GB de RAM y que el volumen 0 del nodo de almacenamiento 1 (SN1) es de 6 TB. Según estos valores:
-
El espacio reservado de metadatos* para todo el sistema está establecido en 8 TB. (Este es el valor predeterminado para una nueva instalación de StorageGRID 11,6 o superior si cada nodo de almacenamiento tiene más de 128 GB de RAM).
-
El espacio reservado real para los metadatos de SN1 es de 6 TB. (El volumen completo se reserva porque el volumen 0 es menor que la configuración espacio reservado de metadatos).
Espacio de metadatos permitido
El espacio reservado real de cada nodo de almacenamiento para metadatos se subdivide en el espacio disponible para los metadatos del objeto (el espacio de metadatos permitido) y el espacio necesario para las operaciones esenciales de la base de datos (como compactación y reparación) y las futuras actualizaciones de hardware y software. El espacio de metadatos permitido rige la capacidad general del objeto.
En la tabla siguiente se muestra cómo StorageGRID calcula el espacio de metadatos permitido para diferentes nodos de almacenamiento, en función de la cantidad de memoria del nodo y del espacio reservado real para los metadatos.
Cantidad de memoria en el nodo de almacenamiento |
|||
≪ 128 GB |
>= 128 GB |
Espacio reservado real para metadatos |
|
≪= 4 TB |
60 % del espacio reservado real para metadatos, hasta un máximo de 1.32 TB |
60 % del espacio reservado real para metadatos, hasta un máximo de 1.98 TB |
> 4 TB |
Ver el espacio de metadatos permitido
Siga estos pasos para ver el espacio de metadatos permitido para un nodo de almacenamiento.
-
En Grid Manager, seleccione NODES.
-
Seleccione el nodo de almacenamiento.
-
Seleccione la ficha almacenamiento.
-
Coloque el cursor sobre el gráfico de metadatos de objetos Storage Used y localice el valor Allowed.
En la captura de pantalla, el valor permitido es 3.96 TB, que es el valor máximo para un nodo de almacenamiento cuyo espacio reservado real para metadatos es superior a 4 TB.
El valor permitido corresponde a esta métrica Prometheus:
storagegrid_storage_utilization_metadata_allowed_bytes
Ejemplo de espacio de metadatos permitido
Supongamos que instala un sistema StorageGRID mediante la versión 11.6. Para este ejemplo, supongamos que cada nodo de almacenamiento tiene más de 128 GB de RAM y que el volumen 0 del nodo de almacenamiento 1 (SN1) es de 6 TB. Según estos valores:
-
El espacio reservado de metadatos* para todo el sistema está establecido en 8 TB. (Este es el valor predeterminado para StorageGRID 11,6 o superior cuando cada nodo de almacenamiento tiene más de 128 GB de RAM.)
-
El espacio reservado real para los metadatos de SN1 es de 6 TB. (El volumen completo se reserva porque el volumen 0 es menor que la configuración espacio reservado de metadatos).
-
El espacio permitido para los metadatos en SN1 es de 3 TB, según el cálculo mostrado en la tabla para el espacio permitido para los metadatos: (Espacio reservado real para metadatos − 1 TB) × 60%, hasta un máximo de 3.96 TB.
Cómo afectan los nodos de almacenamiento de diferentes tamaños a la capacidad de objetos
Como se ha descrito anteriormente, StorageGRID distribuye uniformemente los metadatos de objetos de los nodos de almacenamiento de cada sitio. Por este motivo, si un sitio contiene nodos de almacenamiento de distintos tamaños, el nodo más pequeño del sitio determina la capacidad de metadatos del sitio.
Observe el siguiente ejemplo:
-
Hay una cuadrícula de un solo sitio que contiene tres nodos de almacenamiento de distintos tamaños.
-
El ajuste espacio reservado de metadatos es de 4 TB.
-
Los nodos de almacenamiento tienen los siguientes valores para el espacio de metadatos reservado real y el espacio de metadatos permitido.
Nodo de almacenamiento Tamaño del volumen 0 Espacio real de metadatos reservado Espacio de metadatos permitido SN1
2.2 TB
2.2 TB
1.32 TB
SN2
5 TB
4 TB
1.98 TB
SN3
6 TB
4 TB
1.98 TB
Como los metadatos de objetos se distribuyen uniformemente por los nodos de almacenamiento de un sitio, cada nodo de este ejemplo solo puede contener 1.32 TB de metadatos. No se pueden utilizar los 0,66 TB adicionales de espacio permitido para SN2 y SN3.
De igual modo, como StorageGRID mantiene todos los metadatos de objetos para un sistema StorageGRID en cada sitio, la capacidad general de metadatos de un sistema StorageGRID viene determinada por la capacidad de metadatos de objetos del sitio más pequeño.
Además, dado que la capacidad de metadatos de los objetos controla el recuento máximo de objetos, cuando un nodo se queda sin capacidad de metadatos, el grid está lleno de eficacia.
-
Para obtener más información sobre cómo supervisar la capacidad de metadatos del objeto para cada nodo de almacenamiento, consulte las instrucciones para "Supervisión de StorageGRID".
-
Para aumentar la capacidad de metadatos de objetos del sistema, "amplíe su grid" Añadiendo nuevos nodos de almacenamiento.