Aktuelle Entwicklungen rund um Fluentd und Fluent Bit

Mein letzter Blog-Artikel zu Fluentd und Fluent Bit ist bereits älter als ein halbes Jahr. Beide Programme sind Teil unseres Logfile-Analyse-Kurses, zu dem wir Ihnen im Schlusswort zu diesem Blog-Artikel ein Angebot machen.

Fluentd: SMP-Unterstützung, Windows-Support, TLS, Nanosekunden-Auflösung und neue Plugin-API

Fluentd v1.0 und mittlerweile sogar v1.2 sind da! Wie im letzten Blog-Artikel beschrieben, basiert diese neue stabile Version auf 0.14 mit all den dort beschriebenen Verbesserungen. Darunter:

• Multiprocess Worker: Mehrere Worker verarbeiten Log-Daten parallel, um SMP-Systeme voll zu nutzen. Ermöglicht hat dies die Portierung von Fluentd auf einen ServerEngine basierten Supervisor.
• Windows-Support: Ebenfalls damit verbunden ist die Unterstützung von Windows für den Fluentd-Kern und die offiziell unterstützten Plugins. Fluentd läuft als Windows-Dienst und sammelt auf Wunsch mit einem Plugin das Event Log ein.
• Version 1 Forward Protocol: TLS-Unterstützung, Authentifizierung via Shared Keys oder Benutzername und Passwort, ab Fluentd v1.1.1 mit beidseitiger Authentifizierung.
• Neue Plugin API: Die neue asynchron arbeitende Plugin-Schnittstelle und Plugin Helper erleichtern die Entwicklung von Plugins, von denen es mittlerweile mehr als 700 gibt. So müssen Plugins zum Beispiel eine Event Loop oder TCP-, UDP- und TLS-Unterstützung nicht mehr selbst implementieren. Die neuen Storage-Plugins speichern temporär Name-Wert-Paare. Etwaige Fehler in den gemeinsam genutzten Komponenten lassen sich an einer Stelle beheben.
• Nanosekunden-Auflösung: Eine Auflösung von weniger als einer Sekunde ist unter anderem für hochfrequentierte Webserver, Web-Applikationen, Firewalls und Mailserver essentiell.

Einen schönen Überblick geben auch die Blog-Artikel bei der Cloud Native Foundation und des Fluentd-Projektes.

Fluentd v1.2 bietet weitere Neuigkeiten. Darunter:

• Anstatt das Speichern von Daten via Output Plugins bei permanenten Fehlern immer wieder zu versuchen, landen diese in einem Backup-Verzeichnis.
• Counter API für Plugin-Entwickler, um in Multiprozess-Umgebungen Metriken zu speichern.
• Der Grep-Filter unterstützt nun die explizite Angabe von Und- sowie Oder-Verknüpfungen.

Der aktuelle für Debian- und RHEL-Distributionen paketierte TD-Agent v3.2.0, die Enterprise-Distribution von Fluentd, enthält bereits das aktuelle Fluentd v1.2.2. So profitieren auch diejenigen, die die langlebigere Enterprise-Distribution bevorzugen von allen Neuerungen.

Integration mit anderen Lösungen

Ein Ziel der Cloud Native Foundation ist es, gemeinsame Standards für die verschiedenen Komponenten für Container-paketierte, dynamisch verwaltete und mit Micro Services arbeitende Anwendungen zu schaffen. Da macht es Sinn, dass die einzelnen Projekte miteinander sprechen können.

So bietet Fluentd mittlerweile ein offiziell unterstütztes Plugin für Prometheus. Prometheus, ebenfalls ein Projekt der CNCF, etabliert sich als Standard für das Performance-Monitoring für Cloud-Umgebungen. Es kommt oft zusammen mit Grafana für die Visualisierung zum Einsatz.

Zusätzlich spricht Fluentd nun auch mit Apacha Kafka.

Fluent Bit

Fluent Bit erschien mittlerweile in der Version 0.13.4. Diese bietet passend zum Support in Fluentd einen Prometheus Exporter, über den Prometheus Performance-Metriken des Logshippers abgreifen kann. Zudem liefert das leichtgewichtige Programm Daten optional an Apache Kafka, Splunk Enterprise und Axure Enterprise aus.

Mit Parsern enthält Fluent Bit eine Komponente, die unstrukturierte Log-Meldungen auswertet, um einzelne Felder zu extrahieren. Zu den bislang bereits unterstützten JSON Maps und regulären Ausdrücken kommen noch Decoders hinzu. Diese helfen, wenn die Anwendung bereits selbst in JSON protokolliert, diese Log-Meldungen jedoch gekapselt in einem einzelnen JSON-Feld landen. Ein Decoder entnimmt das original JSON-Dokument aus diesem Feld und wertet es aus. Dies ist hilfreich, um Protokolle von Docker-Anwendungen strukturiert zu übernehmen. Außerdem ist ein neuer Modify-Filter enthalten, um Felder in JSON-Nachrichten umzubenennen oder hinzufügen.

Sie erwägen den Einsatz einer Logfile-Analyse-Lösung?

… wissen aber noch nicht, welche Lösung für Sie geeignet ist?

Unsere Logfile-Analyse-Schulung bei qSkills gibt einen Überblick über die gängigen Open-Source-Werkzeuge zur Logfile-Analyse. Durch das Installieren und Konfigurieren der gängigen Lösungen erhält jeder Teilnehmer Hands On-Erfahrungen. Der nächste Termin ist im Oktober.

Gerade jetzt lohnt es sich besonders, die Logfile-Analyse- und andere Schulungen von uns zu buchen. Profitieren Sie von unseren Rabatten von bis zu 10 Prozent vom Schulungspreis. Kontaktieren Sie uns für nähere Details.

Lassen Sie uns über Ihren Schulungsbedarf reden. Wir helfen gerne.

Martin Steigerwald

Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.