Gestionar el almacenamiento de metadatos de objetos
Sugerir cambios
PDF
La capacidad de metadatos de objetos de un sistema StorageGRID controla la cantidad máxima de objetos que se pueden almacenar en ese sistema. Para garantizar que el sistema StorageGRID tenga espacio suficiente para almacenar objetos nuevos, debe comprender dónde y cómo StorageGRID almacena los metadatos de objetos.
¿Qué son los metadatos de objetos?
Los metadatos de objetos son cualquier información que describa un objeto. StorageGRID utiliza metadatos de objetos para realizar un seguimiento de las ubicaciones de todos los objetos en el grid y gestionar el ciclo de vida de cada objeto a lo largo del tiempo.
Para un objeto en StorageGRID, los metadatos de objeto incluyen los siguientes tipos de información:
-
Metadatos del sistema, incluidos un ID único para cada objeto (UUID), el nombre del objeto, el nombre del bloque de S3 o el contenedor Swift, el nombre o el ID de la cuenta de inquilino, el tamaño lógico del objeto, la fecha y la hora en que se creó el objeto por primera vez, y la fecha y hora en que se modificó por última vez el objeto.
-
Todos los pares de valor de clave de metadatos de usuario personalizados asociados con el objeto.
-
Para los objetos S3, cualquier par de etiqueta de objeto clave-valor asociado al objeto.
-
Para las copias de objetos replicadas, la ubicación de almacenamiento actual de cada copia.
-
Para las copias de objetos codificados de borrado, la ubicación actual de almacenamiento de cada fragmento.
-
Para las copias de objetos en un Cloud Storage Pool, la ubicación del objeto, incluido el nombre del bloque externo y el identificador único del objeto.
-
Para objetos segmentados y objetos multipartes, identificadores de segmentos y tamaños de datos.
¿Cómo se almacenan los metadatos de objetos?
StorageGRID mantiene los metadatos de objetos en una base de datos de Cassandra, que se almacena independientemente de los datos de objetos. Para proporcionar redundancia y proteger los metadatos de objetos de la pérdida, StorageGRID almacena tres copias de los metadatos para todos los objetos del sistema en cada sitio. Las tres copias de metadatos de objetos se distribuyen uniformemente por todos los nodos de almacenamiento de cada sitio.
Esta figura representa los nodos de almacenamiento de dos sitios. Cada sitio tiene la misma cantidad de metadatos de objetos, que está igualmente distribuido entre los nodos de almacenamiento de ese sitio.
¿Dónde se almacenan los metadatos de objetos?
En esta figura, se representan los volúmenes de almacenamiento para un único nodo de almacenamiento.
Como se muestra en la figura, StorageGRID reserva espacio para los metadatos del objeto en el volumen de almacenamiento 0 de cada nodo de almacenamiento. Utiliza el espacio reservado para almacenar metadatos de objetos y realizar operaciones esenciales de la base de datos. Cualquier espacio restante en el volumen de almacenamiento 0 y todos los demás volúmenes de almacenamiento del nodo de almacenamiento se utilizan exclusivamente para los datos de objetos (copias replicadas y fragmentos codificados de borrado).
La cantidad de espacio que se reserva para metadatos de objetos en un nodo de almacenamiento determinado depende de varios factores, que se describen a continuación.
Configuración de espacio reservado de metadatos
El Metadata Reserved Space es una configuración para todo el sistema que representa la cantidad de espacio que se reservará para metadatos en el volumen 0 de cada nodo de almacenamiento. Tal como se muestra en la tabla, el valor predeterminado de esta configuración para StorageGRID 11.5 se basa en lo siguiente:
-
La versión de software que estaba utilizando cuando instaló inicialmente StorageGRID.
-
La cantidad de RAM en cada nodo de almacenamiento.
| Versión utilizada para la instalación inicial de StorageGRID | Cantidad de RAM en los nodos de almacenamiento | Configuración de espacio reservado de metadatos predeterminado para StorageGRID 11.5 |
|---|---|---|
11.5 |
128 GB o más en cada nodo de almacenamiento del grid |
8 TB (8,000 GB) |
Debe haber menos de 128 GB en cualquier nodo de almacenamiento del grid |
3 TB (3,000 GB) |
|
11.1 a 11.4 |
128 GB o más en cada nodo de almacenamiento en un sitio |
4 TB (4,000 GB) |
Menos de 128 GB en cualquier nodo de almacenamiento de cada sitio |
3 TB (3,000 GB) |
|
11.0 o anterior |
Cualquier cantidad |
2 TB (2,000 GB) |
Para ver la configuración del espacio reservado de metadatos para el sistema StorageGRID:
-
Seleccione Configuración > Configuración del sistema > Opciones de almacenamiento.
-
En la tabla Marcas de agua de almacenamiento, busque espacio reservado de metadatos.
En la captura de pantalla, el valor espacio reservado de metadatos es 8,000 GB (8 TB). Esta es la configuración predeterminada para una nueva instalación de StorageGRID 11.5 en la que cada nodo de almacenamiento tiene 128 GB o más de RAM.
Espacio reservado real para los metadatos
A diferencia de la configuración espacio reservado de metadatos para todo el sistema, se determina el espacio reservado real para los metadatos del objeto para cada nodo de almacenamiento. Para un nodo de almacenamiento determinado, el espacio reservado real para los metadatos depende del tamaño del volumen 0 para el nodo y de la configuración del espacio reservado de metadatos* para todo el sistema.
| El tamaño del volumen 0 para el nodo | Espacio reservado real para los metadatos |
|---|---|
Menos de 500 GB (no uso en producción) |
10% del volumen 0 |
500 GB o más |
El menor de estos valores:
|
Para ver el espacio reservado real para los metadatos en un nodo de almacenamiento determinado:
-
En Grid Manager, seleccione Nodes > Storage Node.
-
Seleccione la ficha almacenamiento.
-
Pase el cursor sobre el gráfico almacenamiento utilizado — metadatos de objeto y localice el valor reservado real.
En la captura de pantalla, el valor Real reservado es 8 TB. Esta captura de pantalla es para un nodo de almacenamiento grande en una nueva instalación de StorageGRID 11.5. Debido a que la configuración de espacio reservado de metadatos para todo el sistema es menor que el volumen 0 para este nodo de almacenamiento, el espacio reservado real para este nodo es igual a la configuración de espacio reservado de metadatos.
El valor Real reservado corresponde a esta métrica Prometheus:
storagegrid_storage_utilization_metadata_reserved_bytes
Ejemplo de espacio de metadatos reservado real
Suponga que instala un nuevo sistema StorageGRID mediante la versión 11.5. Para este ejemplo, supongamos que cada nodo de almacenamiento tiene más de 128 GB de RAM y que el volumen 0 del nodo de almacenamiento 1 (SN1) es de 6 TB. Según estos valores:
-
El espacio reservado de metadatos* para todo el sistema está establecido en 8 TB. (Este es el valor predeterminado para una nueva instalación de StorageGRID 11.5 si cada nodo de almacenamiento tiene más de 128 GB de RAM.)
-
El espacio reservado real para los metadatos de SN1 es de 6 TB. (El volumen completo se reserva porque el volumen 0 es menor que la configuración espacio reservado de metadatos).
Espacio de metadatos permitido
El espacio reservado real de cada nodo de almacenamiento para metadatos se subdivide en el espacio disponible para los metadatos del objeto (el espacio de metadatos permitido) y el espacio necesario para las operaciones esenciales de la base de datos (como compactación y reparación) y las futuras actualizaciones de hardware y software. El espacio de metadatos permitido rige la capacidad general del objeto.
En la tabla siguiente se resume cómo StorageGRID determina el valor de espacio de metadatos permitido para un nodo de almacenamiento.
| Espacio reservado real para los metadatos | Espacio de metadatos permitido |
|---|---|
4 TB o menos |
60 % del espacio reservado real para metadatos, hasta un máximo de 1.98 TB |
Más de 4 TB |
(Espacio reservado real para metadatos − 1 TB) × 60 %, hasta un máximo de 2.64 TB |
|
En algunos casos, si el sistema de StorageGRID almacena (o se espera que almacene) más de 2.64 TB de metadatos en cualquier nodo de almacenamiento, se puede aumentar el espacio de metadatos permitido. Si cada uno de sus nodos de almacenamiento tiene más de 128 GB de RAM y espacio libre disponible en el volumen de almacenamiento 0, póngase en contacto con su representante de cuentas de NetApp. NetApp revisará sus requisitos y aumentará el espacio de metadatos permitido para cada nodo de almacenamiento, si es posible. |
Para ver el espacio de metadatos permitido para un nodo de almacenamiento:
-
En Grid Manager, seleccione Node > Storage Node.
-
Seleccione la ficha almacenamiento.
-
Coloque el cursor sobre el gráfico almacenamiento usado — metadatos de objeto y busque el valor permitido.
En la captura de pantalla, el valor permitido es 2.64 TB, que es el valor máximo para un nodo de almacenamiento cuyo espacio reservado real para metadatos es superior a 4 TB.
El valor permitido corresponde a esta métrica Prometheus:
storagegrid_storage_utilization_metadata_allowed_bytes
Ejemplo de espacio de metadatos permitido
Supongamos que instala un sistema StorageGRID mediante la versión 11.5. Para este ejemplo, supongamos que cada nodo de almacenamiento tiene más de 128 GB de RAM y que el volumen 0 del nodo de almacenamiento 1 (SN1) es de 6 TB. Según estos valores:
-
El espacio reservado de metadatos* para todo el sistema está establecido en 8 TB. (Este es el valor predeterminado para StorageGRID 11.5 cuando cada nodo de almacenamiento tiene más de 128 GB de RAM.)
-
El espacio reservado real para los metadatos de SN1 es de 6 TB. (El volumen completo se reserva porque el volumen 0 es menor que la configuración espacio reservado de metadatos).
-
El espacio permitido para los metadatos en SN1 es de 2.64 TB. (Este es el valor máximo del espacio reservado real.)
Cómo afectan los nodos de almacenamiento de diferentes tamaños a la capacidad de objetos
Como se ha descrito anteriormente, StorageGRID distribuye uniformemente los metadatos de objetos de los nodos de almacenamiento de cada sitio. Por este motivo, si un sitio contiene nodos de almacenamiento de distintos tamaños, el nodo más pequeño del sitio determina la capacidad de metadatos del sitio.
Observe el siguiente ejemplo:
-
Hay una cuadrícula de un solo sitio que contiene tres nodos de almacenamiento de distintos tamaños.
-
El ajuste espacio reservado de metadatos es de 4 TB.
-
Los nodos de almacenamiento tienen los siguientes valores para el espacio de metadatos reservado real y el espacio de metadatos permitido.
Nodo de almacenamiento Tamaño del volumen 0 Espacio real de metadatos reservado Espacio de metadatos permitido SN1
2.2 TB
2.2 TB
1.32 TB
SN2
5 TB
4 TB
1.98 TB
SN3
6 TB
4 TB
1.98 TB
Como los metadatos de objetos se distribuyen uniformemente por los nodos de almacenamiento de un sitio, cada nodo de este ejemplo solo puede contener 1.32 TB de metadatos. No se pueden utilizar los 0.66 TB adicionales de espacio de metadatos permitidos para SN2 y SN3.
De igual modo, como StorageGRID mantiene todos los metadatos de objetos para un sistema StorageGRID en cada sitio, la capacidad general de metadatos de un sistema StorageGRID viene determinada por la capacidad de metadatos de objetos del sitio más pequeño.
Además, dado que la capacidad de metadatos de los objetos controla el recuento máximo de objetos, cuando un nodo se queda sin capacidad de metadatos, el grid está lleno de eficacia.
-
Para aprender a supervisar la capacidad de metadatos de objetos para cada nodo de almacenamiento:
-
Para aumentar la capacidad de metadatos de los objetos del sistema, debe añadir nodos de almacenamiento nuevos: