Neuigkeiten zu Fluentd: Logging für Container, Logshipper Fluent Bit

Diese Blog-Serie gibt einen groben Überblick über aktuelle Entwicklungen im Umfeld der Logfile-Analyse. Nach den Neuerungen im ELK-Stack im ersten Teil unserer Serie zu Neuigkeiten in der Logfile-Analyse widmet sich dieser Artikel den Neuerungen rund um Fluentd.

Was ist Fluentd?

Fluentd ist eine Alternative zu Logstash, um Protokoll-Ströme zu transportieren, zu filtern und weiter zu verarbeiten. Der in Ruby und C geschriebene Dienst erfordert anders als Logstash keine Java-VM auf dem Server. Eine Installation gelingt via fertigen TD-Agent-Paketen von Treasure Data oder via Installation von Ruby und den passenden Rubygems. Sie ist Teil unseres Logfile-Analyse-Kurses, zu dem wir Ihnen im Schlusswort zu diesem Blog-Artikel ein besonderes Angebot machen.

Logging für Container

Einige wesentliche Neuigkeiten erfuhr ich auf der LinuxConContainerConEurope 2016 in Berlin in einem Vortrag vom Fluentd-Entwickler Eduardo Silva (Video,  Folien). So findet Fluentd zunehmend Einsatz als Log-Transport für Container. Es gibt daher einen nativen Logging-Treiber für Docker. Sowohl bei Kubernetees und OpenShift ist Fluentd der Standard Aggregator.

Die Bedeutung für Fluentd für Container macht auch der Beitritt des Projekts zur Cloud Native Computing Foundation deutlich. Diese von der Linux Foundation ins Leben gerufene Stiftung hat sich zum Ziel gesetzt, Projekte rund um cloud-native Systeme zu fördern. Dabei geht es darum, Anwendungen als Micro Services in Container verpackt zu betreiben, zu skalieren und zu überwachen.

Fluent 0.14

Des weiteren arbeiten die Entwickler natürlich weiter an Fluentd. Während das Team die 0.12er-Zweig noch weiter pflegt, bauen die Entwickler neue Funktionen vor allem in den 0.14er-Zweig ein. Dabei handelt es sich zur Zeit noch um eine Entwicklungs- und Test-Version.

Die neue Version bietet wesentliche Vorteile. Eine kleine Auswahl:

• Fluentd unterstützt jetzt nativ Plugins, die mit mehreren Prozessen arbeiten. Die betreffenden Plugins müssen das jedoch auch unterstützen.
  

  Kibana 5.4.0 mit einer von Fluentd 0.14.15 ausgewerteten Syslog-Meldung – Facility und Severity sind als Extra-Felder enthalten

• TLS-Verschlüsselung: Sowohl beim Annehmen als auch beim Weiterleiten von Nachrichten unterstützt Fluentd jetzt TLS, ohne dafür auf Plugins angewiesen zu sein.
• Zeitstempel mit einer Auflösung kleiner einer Sekunde. Gerade für die Latenz-Analyse bei der Bearbeitung von HTTP Requests durch einen Webserver ist das essentiell.
• Ein persönlicher Favorit von mir: Das Syslog-Plugin erlaubt es nun, die Facility und Priority direkt als einfach suchbare Felder mit in die Nachricht aufzunehmen.
• Ein eingebauter Filter für das Parsing von Meldungen, der ein bislang externes Plugin ersetzt.
• Verschiedene Performance-Verbesserungen, darunter bei MsgPack, das binäre Nachrichten-Format das Fluentd intern statt des aufwendigen, weil textbasierten JSON-Formats verwendet.
• Windows-Unterstützung für den Kern von Fluentd. Plugins von Drittherstellern laufen jedoch möglicherweise nicht mit Windows.
• Eine neue Plugin-API, die das Erstellen eigener Plugins für Fluentd erleichtert.

Fluent Bit

Fluent Bit ist ein leichtgewichtiger, alternativer Logshipper ähnlich zu Filebeat und Co für Logstash. Das in C geschriebene Programm eignet sich als Ersatz für Fluentd als Logshipper. Das ist insbesondere auf Systemen interessant, die keine vollständige Fluentd-Installation mitsamt Ruby und den erforderlichen Rubygems bekommen sollen.

Eine von Fluent Bit 0.11.4 ausgewertete Log-Meldung aus einem Apache Access Log – hier noch ohne Sekundenbruchteile, da der Apache Server nur ein sekunden-granulares Format verwendete

Das Program ist in Bezug auf Eingabe und Ausgabe sehr flexibel. So erfasst das Programm allgemeine Performane-Informationen wie CPU- und Hauptspeicher-Auslastung, nimmt Meldungen aber auch auf den Kernel-Logs, Log-Dateien oder über TCP entgegen. Die im März

erschienene Version 0.11 bietet darüberhinaus einen Kubernetes-Filter, Parser und Filter sowie Optimierungen beim Hauptspeicher-Bedarf. Über eine Datei mit regulären Ausdrücken wertet Fluent Bit diverse Protokoll-Formate noch vor dem Absenden an einen Fluentd oder in einen Elasticsearch-Cluster aus. Einige Formate wie Apache, Apache-Fehler, Nginx, Syslog und Docker liegen bereits als fertige Definitionen vor. Die für Mai 2017 geplante Version 0.12 bringt Unterstützung für mehrzeilige Log-Einträge.

So das wars mit dem Überblick über Neuigkeiten bei Fluentd.

Sie kennen uns noch nicht?

Sie haben den Überblick über die vielen Protokolle, die ihre Systeme produzieren, verloren? Sie haben Fragen zum Thema Logfile-Analyse?

Gerne beantworten wir Ihre Fragen. Unsere Logfile-Analyse-Schulung bei qSkills gibt einen Überblick über die gängigen Werkzeuge zur Logfile-Analyse. Durch das Installieren und Konfigurieren der gängigen Lösungen erhält jeder Teilnehmer Hands On-Erfahrungen mit den einzelnen Lösungen. Der Nächste Termin ist im November.

Gerade jetzt lohnt es sich besonders, die Logfile-Analyse und andere Schulungen von uns zu buchen. Profitieren Sie von unseren Rabatten in unserer aktuellen Aktion.

Lassen Sie uns über Ihren Schulungsbedarf reden. Wir helfen gerne.

teamix Schulungsangebot

Sie haben Interesse an einer Linux-Schulung? Derzeit bieten wir auf folgende Linux Schulungen 10% Rabatt auf die Kursgebühr, bei Buchung über teamix:

• LI103 – Linux Advanced
• LI109 – Linux Performance-Analyse und Tuning
• LI121 – Elasticsearch, Logstash, Kibana Logfile Analyse
• LI146 – Linux Datacenter Services

Die Anmeldung & weitere Informationen zu den vergünstigten Schulungen finden Sie auf unserer Website.

Martin Steigerwald

Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.