APACHE KAFKA

Apache Kafka ist ein Open Source Messaging-Dienst für größere Datenmengen, auch Message-Broker genannt.

Ursprünglich war Apache Kafka bei der Social-Media-Plattform LinkedIn entwickelt worden und ist heute bei Projekten wie Airbnb, Zalando, Netflix oder Twitter kaum noch wegzudenken. Es dient dort als Dienst für Replikation, Partitionierung und Verteilung von Datenströmen mit einem hohen Anspruch an Verfügbarkeit.

Kontakt

Daniel Sieder
ONTEC AG
+43 1 20 55 20-7090
d.sieder@ontec.at

Kundenorientierung
heißt für mich, potentielle Probleme zu erkennen und zu lösen, bevor diese beginnen den laufenden Betrieb zu stören.

Sie wollen mit einem echten Experten für APACHE KAFKA sprechen? Wir sind dieser Partner! Rufen Sie uns an, Sie werden es nicht bereuen.


 

Nachrichten

 

Kafka funktioniert gut als Ersatz für einen traditionelleren Nachrichtenbroker. Nachrichtenbroker werden aus einer Vielzahl von Gründen verwendet (um die Verarbeitung von Datenproduzenten zu entkoppeln, nicht verarbeitete Nachrichten zu puffern usw.). Im Vergleich zu den meisten Messaging-Systemen hat Kafka einen besseren Durchsatz, eine integrierte Partitionierung, Replikation und Fehlertoleranz, was es zu einer guten Lösung für große Nachrichtenverarbeitungsanwendungen macht.

 

Website-Aktivitätsverfolgung

 

Der ursprüngliche Anwendungsfall für Kafka bestand darin, eine Pipeline für die Verfolgung von Benutzeraktivitäten als eine Reihe von Echtzeit-Feeds für Veröffentlichungen und Abonnements neu erstellen zu können. Dies bedeutet, dass Websiteaktivitäten (Seitenaufrufe, Suchvorgänge oder andere Aktionen, die Benutzer ausführen können) in zentralen Themen mit einem Thema pro Aktivitätstyp veröffentlicht werden. Diese Feeds können für eine Reihe von Anwendungsfällen abonniert werden, einschließlich Echtzeitverarbeitung, Echtzeitüberwachung und Laden in Hadoop- oder Offline-Data-Warehousing-Systeme für Offline-Verarbeitung und -Berichterstellung.

Die Aktivitätsverfolgung ist häufig sehr umfangreich, da für jede Benutzersicht viele Aktivitätsnachrichten generiert werden.

 

Metriken

 

Kafka für Betriebsüberwachungsdaten verwenden. Dies umfasst das Aggregieren von Statistiken von verteilten Anwendungen, um zentralisierte Feeds von Betriebsdaten zu erzeugen.

 

Stream Processing

 

Viele Kafka-Anwender verarbeiten Daten in mehrstufigen Verarbeitungspipelines, in denen rohe Eingabedaten von Kafka-Themen konsumiert und dann aggregiert, angereichert oder anderweitig in neue Themen für den weiteren Konsum oder die Weiterverarbeitung umgewandelt werden. Beispielsweise kann eine Verarbeitungspipeline für die Empfehlung von Nachrichtenartikeln Artikelinhalte aus RSS-Feeds crawlen und sie unter “Artikel” veröffentlichen. die weitere Verarbeitung könnte diesen Inhalt normalisieren oder deduplizieren und den Inhalt des bereinigten Artikels in einem neuen Thema veröffentlichen. Eine abschließende Verarbeitungsstufe könnte versuchen, diesen Inhalt Benutzern zu empfehlen.

 

Event Sourcing

 

Event Sourcing ist ein Stil des Anwendungsdesigns, bei dem Statusänderungen als zeitlich geordnete Folge von Datensätzen protokolliert werden. Kafkas Unterstützung für sehr große gespeicherte Protokolldaten macht es zu einem ausgezeichneten Backend für eine Anwendung, die in diesem Stil erstellt wurde.

 

Anmeldeprotokoll

 

Kafka kann als eine Art externes Commit-Log für ein verteiltes System dienen. Das Protokoll hilft beim Replizieren von Daten zwischen Knoten und dient als Neusynchronisierungsmechanismus für ausgefallene Knoten, um Ihre Daten wiederherzustellen. Die Protokollkompaktierungsfunktion in Kafka unterstützt diese Verwendung. In dieser Verwendung ähnelt Kafka dem Apache BookKeeper-Projekt.

Sie wollen mit einem echten Experten für APACHE KAFKA sprechen? Wir sind dieser Partner! Rufen Sie uns an, Sie werden es nicht bereuen.