Información general de la tecnología
En este apartado se describe la tecnología utilizada en esta solución.
Controladora de almacenamiento ONTAP de NetApp
ONTAP de NetApp es un sistema operativo de almacenamiento empresarial de alto rendimiento.
ONTAP 9.8 de NetApp presenta compatibilidad con las API de Amazon simple Storage Service (S3). ONTAP admite un subconjunto de acciones de la API de Amazon Web Services (AWS) S3 y permite que los datos se representen como objetos en sistemas basados en ONTAP, en proveedores de cloud (AWS, Azure y GCP) y en las instalaciones.
El software StorageGRID de NetApp es la solución estrella de NetApp para el almacenamiento de objetos. ONTAP complementa a StorageGRID proporcionando un punto de procesamiento y procesamiento previo en el perímetro, ampliando el Data Fabric impulsado por NetApp para los datos de objetos y aumentando el valor de la cartera de productos de NetApp.
El acceso a un bloque de S3 se proporciona mediante aplicaciones de cliente y usuario autorizados. En el siguiente diagrama se muestra la aplicación que accede a un bloque de S3.
Principales casos de uso
El objetivo principal de admitir las API S3 es proporcionar acceso a objetos en ONTAP. La arquitectura de almacenamiento unificado de ONTAP ahora admite archivos (NFS y SMB), bloques (FC e iSCSI) y objetos (S3).
Aplicaciones S3 nativas
Un número cada vez mayor de aplicaciones puede aprovechar la compatibilidad con ONTAP para el acceso a objetos mediante S3. Si bien está indicada para cargas de trabajo de archivado de gran capacidad, la necesidad de un alto rendimiento en las aplicaciones nativas de S3 crece rápidamente e incluye:
-
Análisis
-
Inteligencia artificial
-
Ingesta del perímetro al núcleo
-
Aprendizaje automático
Los clientes ahora pueden usar herramientas de capacidad de gestión conocidas como System Manager de ONTAP para aprovisionar rápidamente almacenamiento de objetos de alto rendimiento para el desarrollo y las operaciones en ONTAP, aprovechando las eficiencias y la seguridad del almacenamiento de ONTAP al igual que lo hacen.
Extremos de FabricPool
A partir de ONTAP 9.8, FabricPool admite la organización en niveles en ONTAP, lo que permite la organización en niveles de ONTAP a ONTAP. Esta es una excelente opción para los clientes que desean reorganizar su infraestructura de FAS existente como un extremo de almacenamiento de objetos.
FabricPool permite organizar en niveles en ONTAP de dos formas:
-
Distribución local del clúster. los datos inactivos se organizan por niveles en un bloque ubicado en el clúster local mediante LIF de clúster.
-
Distribución remota del clúster. los datos inactivos se organizan en niveles en un bloque ubicado en un clúster remoto de forma similar a un nivel de cloud FabricPool tradicional mediante LIF de IC en el cliente FabricPool y LIF de datos en el almacén de objetos ONTAP.
ONTAP S3 es adecuado si se desean funcionalidades de S3 en los clústeres existentes sin necesidad de hardware ni gestión adicionales. Para implementaciones de más de 300 TB, el software StorageGRID de NetApp sigue siendo la solución insignia de NetApp para el almacenamiento de objetos. No es necesaria una licencia de FabricPool cuando se usa ONTAP o StorageGRID como nivel de cloud.
ONTAP de NetApp para el almacenamiento por niveles fluido
Todos los centros de datos deben mantener las aplicaciones vitales para el negocio en funcionamiento y los datos importantes disponibles y seguros. El nuevo sistema AFF A900 de NetApp cuenta con el software ONTAP Enterprise Edition y un diseño de gran flexibilidad. Nuestro nuevo sistema de almacenamiento NVMe increíblemente rápido elimina las interrupciones en las operaciones de misión crítica, minimiza el ajuste del rendimiento y protege sus datos de ataques de ransomware.
Desde la puesta en marcha inicial hasta el escalado de su clúster Confluent, su entorno requiere una rápida adaptación a los cambios que no son disruptivos para las aplicaciones vitales para el negocio. La gestión de datos empresariales, la calidad de servicio y el rendimiento de ONTAP le permiten planificar y adaptarse al entorno.
El uso conjunto de ONTAP de NetApp y Confluent Storage simplifica la gestión de clústeres de Apache Kafka aprovechando ONTAP como destino de almacenamiento de escalado horizontal y permite un escalado independiente de los recursos de computación y almacenamiento para Confluent.
Un servidor ONTAP S3 se basa en las funcionalidades de almacenamiento maduro de escalado horizontal de ONTAP. El escalado de su clúster de ONTAP se puede realizar sin problemas mediante la ampliación de sus bloques de S3 para usar nodos recién añadidos al clúster de ONTAP.
Gestión sencilla con System Manager de ONTAP
System Manager de ONTAP es una interfaz gráfica basada en navegador que permite configurar, gestionar y supervisar la controladora de almacenamiento de ONTAP en ubicaciones distribuidas por todo el mundo en una única consola.
Puede configurar y gestionar ONTAP S3 con System Manager y la interfaz de línea de comandos de ONTAP. Cuando se habilita S3 y se crean bloques con System Manager, ONTAP proporciona valores predeterminados de prácticas recomendadas para una configuración simplificada. Si configura el servidor y los bloques de S3 desde la CLI, puede seguir gestionarlos con System Manager si lo desea o viceversa.
Cuando se crea un bloque de S3 con System Manager, ONTAP configura un nivel de servicio de rendimiento predeterminado que es el más alto disponible en el sistema. Por ejemplo, en un sistema AFF, la configuración predeterminada sería extrema. Los niveles de servicio de rendimiento son grupos de políticas de calidad de servicio adaptativos predefinidos. En lugar de uno de los niveles de servicio predeterminados, puede especificar un grupo de políticas de calidad de servicio personalizado o ningún grupo de políticas.
Los grupos de políticas de calidad de servicio adaptativas predefinidos incluyen los siguientes:
-
Extreme. se utiliza para aplicaciones que requieren la latencia más baja y el rendimiento más alto.
-
Rendimiento. utilizado para aplicaciones con necesidades de rendimiento y latencia modestos.
-
Valor. utilizado para aplicaciones para las que el rendimiento y la capacidad son más importantes que la latencia.
-
Personalizado. especifique una directiva QoS personalizada o ninguna directiva QoS.
Si selecciona usar para clasificación por niveles, no se seleccionan niveles de servicio de rendimiento y el sistema intenta seleccionar medios de bajo costo con un rendimiento óptimo para los datos organizados por niveles.
ONTAP intenta aprovisionar este bloque en niveles locales que tengan los discos más adecuados para cumplir el nivel de servicio elegido. Sin embargo, si necesita especificar qué discos se incluirán en el bloque, considere la configuración del almacenamiento de objetos S3 desde la CLI especificando los niveles locales (agregado). Si configura el servidor S3 desde la CLI, puede seguir gestionarlo con System Manager si lo desea.
Si desea la capacidad de especificar qué agregados se utilizan para bloques, solo puede hacerlo mediante la CLI.
Confluente
Confluent Platform es una plataforma de transmisión de datos a escala completa que le permite acceder, almacenar y gestionar los datos fácilmente como flujos continuos y en tiempo real. Diseñado por los creadores originales de Apache Kafka, Confluent amplía las ventajas de Kafka con funciones de nivel empresarial al tiempo que elimina la carga de la gestión o supervisión de Kafka. Hoy en día, más del 80 % de las empresas Fortune 100 cuentan con tecnología de transmisión de datos y la mayoría utilizan Confluent.
¿Por qué confluente?
Mediante la integración de datos históricos y en tiempo real en una única fuente central de verdad, Confluent facilita la creación de una categoría completamente nueva de aplicaciones modernas condicionadas por eventos, obtener una canalización de datos universal y desbloquear nuevos casos de uso potentes con total escalabilidad, rendimiento y fiabilidad.
¿Para qué se utiliza Confluent?
Gracias a la plataforma Confluent podrá centrarse en cómo obtener valor empresarial de sus datos en lugar de preocuparse por los mecanismos subyacentes, como por ejemplo, cómo se transportan datos o se integran entre sistemas dispares. En concreto, Confluent Platform simplifica la conexión de fuentes de datos a Kafka, la creación de aplicaciones de streaming y la protección, supervisión y gestión de la infraestructura de Kafka. En la actualidad, Confluent Platform se utiliza en una amplia variedad de casos de uso en numerosos sectores, desde servicios financieros, ventas al por menor de todos los canales y coches autónomos, hasta detección de fraude, microservicios e Internet de las cosas.
La siguiente figura muestra los componentes de Confluent Platform.
Descripción general de la tecnología de transmisión de eventos Confluent
En el centro de la plataforma Confluente lo es "Kafka", la plataforma de transmisión distribuida de código abierto más popular. Entre las capacidades clave de Kafka se incluyen las siguientes:
-
Publicar y suscribirse a flujos de registros.
-
Almacene flujos de registros de forma tolerante a fallos.
-
Procesar flujos de registros.
Lista para usar, Confluent Platform también incluye registro de esquemas, proxy REST, un total de más de 100 conectores Kafka predefinidos y ksqlDB.
Descripción general de las funciones empresariales de la plataforma Confluent
-
* Confluent Control Center.* un sistema basado en la interfaz de usuario para la gestión y monitorización de Kafka. Le permite gestionar fácilmente Kafka Connect y crear, editar y gestionar conexiones a otros sistemas.
-
* Confluent for Kubernetes.* Confluent for Kubernetes es un operador de Kubernetes. Los operadores de Kubernetes amplían las funcionalidades de orquestación de Kubernetes, al proporcionar las funciones y requisitos únicos para una aplicación de plataforma específica. En el caso de la plataforma con fluidez, esto incluye simplificar en gran medida el proceso de puesta en marcha de Kafka en Kubernetes y automatizar las tareas habituales del ciclo de vida de la infraestructura.
-
Conectores Kafka Connect. Utilice la API Kafka Connect para conectar Kafka a otros sistemas como bases de datos, almacenes de clave-valor, índices de búsqueda y sistemas de archivos. Confluent Hub tiene conectores descargables para las fuentes de datos y los sumideros más populares, incluidas versiones totalmente probadas y compatibles de estos conectores con Confluent Platform. Encontrará más información "aquí".
-
Clústeres de equilibrio automático. proporciona equilibrio de carga automatizado, detección de fallos y autorreparación. También ofrece soporte para la adición o retirada de agentes según sea necesario, sin ajustes manuales.
-
Confluent cluster linkando. conecta directamente los clusters y refleja temas de un cluster a otro a través de un puente de enlace. La vinculación de clústeres simplifica la configuración de implementaciones en varios centros de datos, varios clústeres y nube híbrida.
-
* Confluent auto data equilibrador.* supervisa su clúster para el número de corredores, el tamaño de particiones, el número de particiones y el número de líderes dentro del clúster. Permite mover datos para crear una carga de trabajo uniforme en su clúster, a la vez que se desregula el tráfico del reequilibrio para minimizar el efecto en las cargas de trabajo de producción al mismo tiempo que se reequilibran.
-
* Confluent replicator.* hace más fácil que nunca mantener múltiples clústeres de Kafka en varios centros de datos.
-
Almacenamiento Tiered. ofrece opciones para el almacenamiento de grandes volúmenes de datos Kafka con su proveedor de cloud preferido, reduciendo así la carga y los costes operativos. Con un almacenamiento por niveles, puede mantener los datos en un almacenamiento de objetos rentable y a los agentes de escalado solo cuando necesite más recursos informáticos.
-
* Confluent JMS Client.* Confluent Platform incluye un cliente compatible con JMS para Kafka. Este cliente Kafka implementa la API estándar JMS 1.1, utilizando los agentes Kafka como back-end. Esto resulta útil si tiene aplicaciones heredadas con JMS y desea reemplazar el agente de mensajes JMS existente con Kafka.
-
* Proxy de Confluent MQTT.* proporciona una forma de publicar datos directamente a Kafka desde dispositivos MQTT y puertas de enlace sin necesidad de un intermediario de MQTT en el medio.
-
* Plugins de seguridad Confluent.* los plugins de seguridad Confluent se utilizan para agregar capacidades de seguridad a varias herramientas y productos de Confluent Platform. Actualmente, hay un plugin disponible para el proxy de REST de Confluent que ayuda a autenticar las solicitudes entrantes y propagar el principal autenticado a solicitudes a Kafka. Esto permite a los clientes proxy DE Confluent REST utilizar las funciones de seguridad multitenant del agente Kafka.