NetApp StorageGRID ist eine hochperformante, kostengünstige Objekt-Storage-Plattform. Mithilfe von Tiered Storage werden die meisten Daten von Conflient Kafka, die im lokalen Storage oder im SAN-Storage des Brokers gespeichert sind, in den Remote-Objektspeicher ausgelagert. Diese Konfiguration führt zu deutlichen betrieblichen Verbesserungen, da der Zeit- und Kostenaufwand für den Ausgleich, die Erweiterung, die Verkleinerung von Clustern oder den Austausch eines ausgefallenen Brokers verringert wird. Objekt-Storage spielt eine wichtige Rolle beim Management von Daten, die sich auf der Objektspeicher-Tier befinden. Aus diesem Grund ist die Wahl des richtigen Objekt-Storage wichtig.

StorageGRID bietet intelligentes, richtlinienbasiertes globales Datenmanagement unter Verwendung einer verteilten, Node-basierten Grid-Architektur. Dank des universellen globalen Objekt-Namespace, der komplexe Datenmanagement-Funktionen vereint, vereinfacht es das Management von unstrukturierten Daten im Petabyte-Bereich und Milliarden von Objekten. Der Zugriff auf einzelne Objekte ist über alle Standorte hinweg möglich und vereinfacht Hochverfügbarkeitsarchitekturen bei kontinuierlichem Objektzugriff, unabhängig von Standort- oder Infrastrukturausfällen.

Dank Mandantenfähigkeit können mehrere unstrukturierte Cloud- und Enterprise-Datenapplikationen sicher im selben Grid gewartet werden. Dies erhöht den ROI und die Anwendungsfälle für NetApp StorageGRID. Sie haben die Möglichkeit, diverse Service-Level mit metadatengestützten Objekt-Lebenszyklus-Richtlinien zu erstellen. So optimieren Sie Langlebigkeit, Schutz und Performance an mehreren Standorten und Regionen. Benutzer können Datenmanagement-Richtlinien anpassen sowie Traffic-Grenzen überwachen und anwenden, um sich unterbrechungsfrei an die Datenlandschaft anzupassen, wenn sich ihre Anforderungen ständig ändern.

Apache Kafka ist eine Framework-Implementierung eines Software-Busses mit Stream Processing geschrieben in Java und Scala. Das Ziel ist eine einheitliche Plattform mit hohem Durchsatz und niedriger Latenz für die Verarbeitung von Echtzeit-Datenfeeds. Kafka kann sich mit einem externen System für den Datenexport und den Import über Kafka Connect verbinden und Kafka Streams, eine Java Stream Processing Library, zur Verfügung stellen. Kafka verwendet ein binäres, TCP-basiertes Protokoll, das für Effizienz optimiert ist und auf einer Abstraktion basiert, die Nachrichten automatisch gruppiert, um den Overhead von NetzwerkRoundtrip zu reduzieren. Dies ermöglicht größere sequenzielle Festplattenoperationen, größere Netzwerkpakete und zusammenhängende Speicherblöcke. Kafka kann also einen sprunghafte Strom zufälliger Nachrichtenschreibvorgänge in lineare Schreibvorgänge verwandeln. Die folgende Abbildung zeigt den grundlegenden Datenfluss von Apache Kafka.

Kafka speichert Schlüsselwertbotschaften, die aus einer willkürlichen Anzahl von Prozessen stammen, die Produzenten genannt werden. Die Daten lassen sich innerhalb verschiedener Themen in unterschiedliche Partitionen unterpartitionieren. Innerhalb einer Partition werden Nachrichten streng nach ihren Offsets (der Position einer Nachricht innerhalb einer Partition) geordnet und zusammen mit einem Zeitstempel indiziert und gespeichert. Andere Prozesse, die Verbraucher genannt werden, können Nachrichten von Partitionen lesen. Zur Stream-Verarbeitung bietet Kafka die Streaming-API, mit der Java-Applikationen geschrieben werden können, die Daten aus Kafka verbrauchen und Ergebnisse an Kafka schreiben. Apache Kafka arbeitet auch mit externen Streamverarbeitungssystemen wie Apache Apex, Apache Flink, Apache Spark, Apache Storm und Apache NiFi zusammen.

Kafka läuft auf einem Cluster aus einem oder mehreren Servern (sogenannten Brokern) und die Partitionen aller Themen sind über die Cluster Nodes verteilt. Darüber hinaus werden Partitionen zu mehreren Brokern repliziert. Diese Architektur ermöglicht es Kafka, massive Nachrichten-Streams fehlertolerant zu liefern und hat es ermöglicht, einige der herkömmlichen Messaging-Systeme wie Java Message Service (JMS), Advanced Message Queuing Protocol (AMQP) usw. zu ersetzen. Seit Version 0.11.0.0 bietet Kafka transaktionale Schreibvorgänge, die mithilfe der Streaming-API exakt einmal Stream-Verarbeitung sorgen.

Kafka unterstützt zwei Themenarten: Regelmäßig und verdichtet. Normale Themen können mit einer Aufbewahrungszeit oder mit einer Speicherplatzbindung konfiguriert werden. Wenn Datensätze älter als die angegebene Aufbewahrungszeit sind oder wenn der gebundene Speicherplatz für eine Partition überschritten wird, kann Kafka alte Daten in freien Speicherplatz löschen. Standardmäßig werden Themen mit einer Aufbewahrungszeit von 7 Tagen konfiguriert, es ist aber auch möglich, Daten unbegrenzt zu speichern. Bei verdichteten Themen verfallen Datensätze aufgrund von Zeit- oder Raumgrenzen nicht. Stattdessen behandelt Kafka spätere Nachrichten als Aktualisierungen älterer Nachrichten mit dem gleichen Schlüssel und garantiert, dass sie nie die neueste Nachricht pro Schlüssel löschen. Benutzer können Nachrichten vollständig löschen, indem sie eine sogenannte Tombstone-Nachricht mit dem Null-Wert für einen bestimmten Schlüssel schreiben.

In Kafka gibt es fünf große APIs:

Die Consumer and Producer APIs bauen auf dem Kafka Messaging-Protokoll auf und bieten eine Referenzimplementierung für Kafka-Verbraucher und -Produzenten in Java an. Das zugrunde liegende Messaging-Protokoll ist ein binäres Protokoll, mit dem Entwickler ihre eigenen Verbraucher- oder Producer-Clients in jeder Programmiersprache schreiben können. Damit erschließt sich Kafka aus dem Java Virtual Machine (JVM) Ecosystem. Eine Liste der nicht-Java-Clients wird im Apache Kafka Wiki gepflegt.

Conflient Platform ist eine Plattform für Unternehmen, die Kafka mit fortschrittlichen Funktionen abrundet, die dazu dienen, die Applikationsentwicklung und -Konnektivität zu beschleunigen, Transformationen durch Stream-Verarbeitung zu ermöglichen, skalierbare Enterprise-Prozesse zu vereinfachen und anspruchsvolle Architekturanforderungen zu erfüllen. Confluent wurde von den ursprünglichen Schöpfern von Apache Kafka erbaut und erweitert die Vorteile von Kafka mit Funktionen der Enterprise-Klasse, ohne Kafka-Management oder -Monitoring zu belasten. Heute sind mehr als 80 % der Fortune 100-Unternehmen auf Data-Streaming-Technologie gestützt – und die meisten von ihnen nutzen Confluent.