Das Umfeld rund um Logfile-Analyse-Lösungen im Open-Source-Bereich ist in ständiger, schneller Entwicklung. So verwundert es kaum, dass es seit meinem letzten Blog-Post im April 2015 viele Neuerungen gibt. Diese Blog-Serie gibt einen groben Überblick über aktuelle Entwicklungen. Den Anfang machen Neuerungen im Elastic Stack.
Der Elastic Stack
Wesentliche Neuerungen gibt es beim Elastic Stack. Der Elastic Stack kombiniert die Web-Oberfläche Kibana, die der Speicher- und Such-Engine Elasticsearch und den Log-Transporteur Logstash zu einer Gesamtlösung.
Wer den ELK-Stack früher einsetzte, weiß von den verschiedenen Versionsnummern für Logstash, Elasticsearch und Kibana. Durch inkompatible Änderungen oder neue Funktionen erforderte so beispielsweise eine neuere Logstash-Version eine neuere Elasticsearch-Version. Der Recherche-Aufwand, welche Versionen einwandfrei zusammen funktionieren, fällt ab Version 5 komplett weg. Alle Komponenten haben die selben Versionsnummern und erscheinen zum selben Zeitpunkt.
Die ersten Ausgaben der 5er-Serie waren nur für Testwillige vorgesehen. Nun gibt es jedoch seit Oktober 2016 mit der Version 5.2 fürs produktive Umfeld geeignete GA Release.
Der Upstream-Blog-Post über die neue Version bietet einen Überblick über die neuen Funktionen. Eine Auswahl:
- Mit Knotentyp Ingest Node bietet Elasticsearch nun eine Reihe von Datenanreicherungsfunktionen wie Grok-Filter, GeoIP, Datum und mehr. Damit übernimmt Elasticsearch bei Bedarf einige Funktionen von Logstash direkt, ohne dabei Logstash oder die Beats (siehe unten) komplett zu ersetzen.
- Die Logstash Monitoring API ermöglicht, die Performance von Logstash selbst zu beobachten.
- Timelion stellt Visualisierungen zur Verfügung, die die Analyse von Daten über bestimmte Zeiträume erleichtern.
Auch im letzten Jahr holten die Entwickler das Packetbeat-Team an Board und gründeten das Beats-Projekt. Die Beats, ebenfalls ein Bestandteil der kompletten Suite, sind eine Sammlung leichtgewichtiger Logshipper, darunter:
- Filebeat: Sammelt Log-Daten aus Dateien.
- Metricbeat: Sammelt System-Statistiken wie die CPU-Auslastung und die I/O-Auslastung. Arbeitet auch auf Prozess-Ebene. Ersetzt das früher Topbeat. Metricbeat sammelt jedoch auch Metriken von Diensten wie Apache, HAProxy, MongoDB, Nginx, PostgreSQL, Redis und mehr.
- Packetbeat: Protokolliert gesendete und empfangene Netzwerk-Daten, die dann nach Protokoll z.B. in Bezug auf Latenzen auswertbar sind.
- Winlogbeat: Sammelt Windows Event Logs. Damit gibt es endlich eine Alternative zum althergebrachten NXLog.
- Heartbeat: Dient dem Uptime-Monitoring.
Das Besondere dabei ist, dass alle diese leichtgewichtigen Go-Anwendungen die Daten auch ohne Umweg über Logstash direkt in einen Elasticsearch-Cluster einkippen können. Somit bietet der ELK Stack nun auch die Möglichkeiten der Realtime-Performance-Analyse. Fertige Dashboards lassen sich im Handumdrehen in Kibana importieren.
Das aktuelle Kibana 5.2.2 mit einem leicht im Layout angepassten Standard-Dashboard für Metricbeat in der Ansicht nach Prozessen
Die zusätzlichen Funktionen für Sicherheit, Benutzerverwaltung, Alerting, Monitoring, Management, Reporting und Analyse von Relationen innerhalb der Daten und mehr sind indes weiterhin als proprietäre Addons realisiert. Diese lassen sich jedoch nun als X-Pack leichter installieren, aktualisieren und verfügen über verbesserte oder neue Web-Oberflächen.
So das wars mit dem Kurzüberblick über Neuigkeiten beim ELK-Stack. Der nächste Teil informiert über Neuerungen im Fluentd-Umfeld – stay tuned.
Sie kennen uns noch nicht?
Sie haben den Überblick über die vielen Protokolle, die ihre Systeme produzieren, verloren? Sie haben Fragen zum Thema Logfile-Analyse?
Gerne beantworten wir Ihre Fragen. Unsere Logfile-Analyse-Schulung bei qSkills gibt einen Überblick über die gängigen Werkzeuge zur Logfile-Analyse. Durch das Installieren und Konfigurieren der gängigen Lösungen erhält jeder Teilnehmer Hands On-Erfahrungen mit den einzelnen Lösungen. Der Nächste Termin findet von 03.04.2017 bis 06.04.2017 statt.
teamix Schulungsangebot
Sie haben Interesse an einer Linux-Schulung? Derzeit bieten wir auf folgende Linux Schulungen 10% Rabatt auf die Kursgebühr, bei Buchung über teamix:
- LI103 – Linux Advanced
- LI109 – Linux Performance-Analyse und Tuning
- LI121 – Elasticsearch, Logstash, Kibana Logfile Analyse
- LI146 – Linux Datacenter Services
Die Anmeldung & weitere Informationen zu den vergünstigten Schulungen finden Sie auf unserer Website.
Martin Steigerwald
Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.
