Alle Artikel unter dem Schlagwort Performance

Ein Überblick über Benchmark-Programme und deren Nutzung ist ein Bestandteil des Linux Performance Analyse & Tuning-Kurses, den ich halte. Gerade I/O Benchmarks sind mir dabei besonders wichtig, da es besonders im Storage-Bereich große Herausforderungen in Bezug auf die Performance gibt. Flashspeicher trägt zwar massiv dazu bei, diese Herausforderungen zu meistern. Die Datenmengen werden jedoch immer größer und Flashspeicher ist immer noch teurer als Festplatten.

Schon vor langem stieß ich dabei auf ein Programm, das besonders flexibel arbeitet: Der Flexible I/O Tester. Jens Axboe, Maintainer des Block Layers, der Schicht im Linux-Kernel, die blockweise auf Massenspeicher zugreift, schrieb diesen Benchmark. Er wollte sich nicht mehr für jeden Benchmark im Storage-Bereich, der für seine Arbeit sinnvoll ist, das passende Programm heraussuchen. Daher schrieb er ein Programm für alle möglichen Benchmarks. Der Flexible I/O Tester, kurz Fio, verwendet daher eine Job-Beschreibung, die den zu testenden Workload beschreibt. Es führt diesen Workload anschließend aus und misst IOPS, Bandbreite und Latenzen.

Das Programm ist ein sehr praktisches Werkzeug für den Kurs und einen eigenen Blog-Post wert. Allerdings gab es damals kein fertiges Paket für Debian. Also entschied ich mich bereits 2009 einfach selbst eins zu erstellen, das ich bis heute betreue. Im November 2015 baute ich auch das Erstellen eines Binär-Paketes für das grafische Frontend Gfio in das Quelltext-Paket ein.

Weiterlesen

Autor: Martin Steigerwald
Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.
This entry is part [part not set] of 8 in the series Unsere Linux-Schulungen

Nun halte ich seit 10 Jahren Schulungen und unseren Blog gibt es schon seit über 2 Jahren – allerdings habe ich bislang keinen Artikel zu unseren Linux-Schulungen geschrieben. Nach dem Motto „Tue Gutes und rede darüber!“ starte ich deshalb eine neue Serie zum Thema.

Den Auftakt macht dieser Artikel mit einer Einführung, welche Linux-Schulungen wir anbieten und was diese auszeichnet. Dabei gehe ich auf unsere Partner / beteiligten Schulungszentren ein und erläutere unseren Kursansatz. In weiteren Artikeln geht es um Neuerungen in unseren Kursen, sowie um einen ganz neuen Kurs, den ich derzeit entwickele. Doch dazu ein andermal mehr.

Tux in einer Schulung

Tux in einer Schulung, Pinguin Copyright by Larry Ewing und Simon Budig

Welche Linux-Schulungen bieten wir an?

 

Wir bieten zur Zeit in Nürnberg bei der qSkills GmbH & Co KG die folgenden Linux-Schulungen an:

Eine Folie aus dem Linux Basics-Kurs

Eine Folie aus dem Linux Basics-Kurs

Der Grundlagenkurs mit Themen wie dem Arbeiten mit der Befehlszeile, Benutzer und Rechte, Dateisysteme, Bootloader, Paketverwaltung und Netzwerk. Der Kurs heißt Linux/UNIX Basics, da Vieles auch für andere Unixe relevant ist.

Weiterlesen

Autor: Martin Steigerwald
Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.

SNMP Optimierung unter JunOS

Kategorien: Netzwerk, Juniper, Monitoring
Kommentare: 3

SNMP ist für viele Network Management Systeme (NMS) die essentielle und oftmals einzige Schnittstelle. Durch die Vielzahl von Informationen die man über SNMP auslesen kann, ist es in der Praxis oftmals der Fall, dass die Performance (Antwortzeiten, Laufzeit eines Abfragezyklus) zu wünschen übrig lässt. Dieser Artikel beschreibt wie man unter JunOS Abhilfe schaffen kann und welche Dinge grundsätzlich zu beachten sind.

Weiterlesen

Autor: Richard Müller
Richard Müller ist Geschäftsführer der Proact Deutschland GmbH. Den "kreativen" Umgang mit Computern und Datennetzen lernte er schon im Schulalter. Bis heute hat Richard eine Begeisterung für technisch brilliante Konzepte und Lösungsansätze in den Bereichen IT-Infrastruktur - hier vor allem alles rund ums Netzwerk.

Ein üblicher erster Befehl, den ein Systemadministrator bei der Analyse von Performance-Problemen auf Linux-Servern aufruft, ist Top. Das durch den Procps-Fork Procps-NG in aktuellen Linux-Distributionen generalüberholte Werkzeug ist jedoch bei weitem nicht das einzige Werkzeug für diesen Zweck. Die Alternativen Htop, Atop und Glances streben an, dessen Möglichkeiten zu erweitern.

So erfreut schon seit 2004 Htop mit einer rollbaren Prozessliste und einfacher Bedienung via Funktionstasten die Anwender. Atop indes markiert ausgelastete Ressourcen farbig und erfasst auch die Auslastung von Laufwerken und Netzwerk. Als einziger Kandidat ist es in der Lage, Leistungsdaten bis auf die Prozess-Ebene hinunter aufzuzeichnen und diese sogar nachträglich zu analysieren. Der Neu-Ankömmling Glances verspricht hingegen möglichst viele Informationen in 80×24 Zeichen unterzubringen und bietet die Möglichkeit, auch entfernte Systeme zu beobachten, ohne sich per SSH anzumelden.

Weiterlesen

Autor: Martin Steigerwald
Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.

Wie im Artikel über den OnCommand Unified Manager schon angedeutet, geht es heute im dritten Teil der OnCommand-Serie um den OnCommand Performance Manager von NetApp. Dieses Tool fokussiert sich auf das Performance-Monitoring von clustered Data ONTAP Systemen und kann entweder einzeln oder in Verbindung mit dem OnCommand Unified Manager genutzt werden. Wir empfehlen grundsätzlich den Einsatz beider (kostenlosen) Tools, da somit eine durchgehende Überwachung Ihrer Systeme in den Bereichen Verfügbarkeit, Kapazität, Performance und Daten-Replikation möglich ist.

Weiterlesen

Autor: Bernd Löhlein
Bernd Löhlein ist seit Ende 2010 für die Firma Proact Deutschland aktiv. Sein Fokus liegt hauptsächlich auf NetApp Hard- und Software, die angrenzenden Themen Virtualisierung und Netzwerk sind für Ihn dabei auch kein Neuland. Neben den üblichen Consulting-Einsätzen ist er auch noch als Trainer im NetApp Umfeld aktiv.
This entry is part [part not set] of 2 in the series OnCommand Management Suite

Nachdem der Artikel OnCommand Balance den Anfang machte, folgt heute Teil zwei der Blogserie zu OnCommand zum Thema Unified Manager. Der OnCommand Unified Manager ist ein zentrales Monitoring- und Alerting-Tool der OnCommand-Suite von NetApp, das in der aktuellen Version 6.x für die Überwachung von NetApp-Umgebungen mit clustered Data ONTAP vorgesehen ist. Das Beste gleich zu Beginn: es kann von jedem NetApp Kunden mit gültigem Support-Vertrag ohne Lizenzkosten genutzt werden! Der Download ist wie üblich über das NetApp Support Portal möglich. Weiterlesen

Autor: Bernd Löhlein
Bernd Löhlein ist seit Ende 2010 für die Firma Proact Deutschland aktiv. Sein Fokus liegt hauptsächlich auf NetApp Hard- und Software, die angrenzenden Themen Virtualisierung und Netzwerk sind für Ihn dabei auch kein Neuland. Neben den üblichen Consulting-Einsätzen ist er auch noch als Trainer im NetApp Umfeld aktiv.
This entry is part [part not set] of 8 in the series Aus den Labs

Gerade im Bereich Datacenter Switching ist inzwischen allseits bekannt, dass neben den Portgeschwindigkeiten (1,10,40,100 GBit/s) und der Oversubscription-Ratio (Idealerweise keine) auch die Latenz eine essentielle Rolle bei Performancebetrachtungen spielt.

Früher waren niedrige Latenzen bekannterweise ein Monopol für die FibreChannel-Fraktion. Ethernet wurde damals bestenfalls müde belächelt oder als Kinderspielzeug abgetan.
Heute kann jeder „normale“ Datacenter Switch FCoE  und hat mit nativem FibreChannel vergleichbare Latenzen. Dabei unterbieten sich die Hersteller  in immer wahnwitziger anmutenden Latenzen im Submikrosekundenbereich.

Erstaunlicherweise findet man jedoch fast nie Angaben zu den angewandten Methoden, welche einen nicht unerheblichen Einfluß auf das Ergebnis haben – in Einzelfällen sogar so extrem, dass man bei einem Messverfahren sogar „negative Latenzen“ erhalten kann. Zeitreisen gibt es jedoch leider nur in StarTrek.

Dieser Artikel soll hier etwas Licht ins Dunkel bringen.

Weiterlesen

Autor: Richard Müller
Richard Müller ist Geschäftsführer der Proact Deutschland GmbH. Den "kreativen" Umgang mit Computern und Datennetzen lernte er schon im Schulalter. Bis heute hat Richard eine Begeisterung für technisch brilliante Konzepte und Lösungsansätze in den Bereichen IT-Infrastruktur - hier vor allem alles rund ums Netzwerk.

Es gibt viele Werkzeuge für Linux, die Netzwerk-Traffic insgesamt oder nach Verbindungen anzeigen. Doch was ist, wenn ich wissen möchte, welcher Prozess wieviel Traffic verursacht? In vielen Fällen ist es relativ einfach, von der Verbindung auf den Prozess zu schließen. Manchmal ist dies jedoch nicht so offensichtlich. Und zudem müsste ich dann selbst den Traffice aller Verbindungen, die ein Prozess so aufbaut, zusammen addieren, um einen Überblick zu bekommen. Weiterlesen

Autor: Martin Steigerwald
Martin Steigerwald beschäftigt sich seit Mitte der 90er Jahre mit Linux. Er ist langjähriger Autor von Artikeln für verschiedene Computer-Magazine wie die LinuxUser (linuxuser.de) und das Linux-Magazin (linux-magazin.de). Seit Herbst 2004 ist er als Trainer für Linux-Themen bei Proact Deutschland in Nürnberg tätig.
This entry is part [part not set] of 2 in the series OnCommand Management Suite

Der heutige Blog-Post ist der Start einer mehrteiligen Serie über selten genutzte Produkte der OnCommand Suite, den Anfang macht die Software OnCommand Balance (ehemals Akorri BalancePoint oder OnCommand Insight Balance) für das Monitoring Ihrer Infrastruktur mit einem hohen Anteil an virtualisierten Systemen. OnCommand Balance unterstützt den Administrator bei der täglichen Arbeit indem die Zusammenhänge zwischen NetApp-Storage, ESXi-Umgebungen und den einzelnen virtuellen oder physikalischen Servern übersichtlich dargestellt werden, entweder in der OnCommand Balance Web-GUI oder direkt im vSphere-Client durch ein mitgeliefertes, optionales Plugin. Weiterlesen

Autor: Bernd Löhlein
Bernd Löhlein ist seit Ende 2010 für die Firma Proact Deutschland aktiv. Sein Fokus liegt hauptsächlich auf NetApp Hard- und Software, die angrenzenden Themen Virtualisierung und Netzwerk sind für Ihn dabei auch kein Neuland. Neben den üblichen Consulting-Einsätzen ist er auch noch als Trainer im NetApp Umfeld aktiv.

Der Gedanke ist verlockend: Einfach nur eine PCI-Karte in die vorhandene FAS stecken, und schon bekommt man mehr Performance aus seiner NetApp-Maschine!

Eine solche Beschleuniger-Karte existiert, sie ist bestellbar (ja, sogar bezahlbar!). Wir haben uns eine Karte gekauft und sie getestet. Wie sie funktioniert und was sie tatsächlich leistet stellen wir diese Woche vor!

Anstatt aus Performancegründen viele Platten zu kaufen, können NetApp Kunden künftig besser auf eine oder mehrere der PAM Karten zurückgreifen. Sie sparen durch die Reduktion der Shelves Platz und Strom im Rechenzentrum.

Die Idee

Die meisten Sizing-Tools und Berater haben eines gemeinsam: Sie empfehlen „viele Spindeln für viel Performance“. Diese Aussage ist grundsätzlich richtig – doch warum eigentlich? Ganz einfach: Jede weitere Platte in einer Raid-Gruppe oder einem Aggregat kann zusätzliche Lese-Schreibaufträge (IOPS) abarbeiten. Dies geschieht parallel zu den anderen Platten, der Performance-Zuwachs kann der Einfachheit halber fast linear angenommen werden. Beispiel: Schafft eine einzelne Datenplatte im RAID 150 Operationen pro Sekunde, so schaffen 10 Platten grob das 10-fache.

Was bedeutet das in der Praxis? Wenn wir ein Sizing für eine Datenbank durchführen, welche maximal 4500 IOs vom Storage-System abverlangt, so brauchen wir ca. 30 Spindeln. (4500 / 150 ). Einkaufsliste: 3 Stück der guten MK4 NetApp Diskshelves, voll bestückt mit 15krpm Festplatten. Dann stehen 3x 14 Platten zur Verfügung, abzüglich 1x HotSpare, 2x Parity, 2x DoubleParity. Macht 37 Datenplatten, sollte also grob reichen.

Allerdings stimmt die Rechnung in der Praxis nicht ganz, da wir eine der wichtigsten Komponenten eines Storagesystems ausser Acht gelassen haben: Den Cache. Die Rechnung oben geht von der Annahme aus, dass im schlimmsten Fall alle Operationen auf der Disk landen und der Cache garnicht existiert. Doch das ist praxisfern, da Cache sogar einen sehr grossen Beitrag zur Performance eines Speichersystems beitragen.

Und genau an diesem Punkt setzt die PAM Karte an: Sie vergrössert den Read-Cache des NetApp Systems. Das ist revolutionär da man bisher den RAM der Maschinen nicht aufrüsten konnte, man war gezwungen ein grösseres Modell zu kaufen. Ausserdem kaufen viele Kunden mehr Shelves als nötig, da sie die Performance brauchen – aber nicht unbedingt die Kapazität der Platten. Somit verschwenden sie wichtige Ressourcen im Rechenzentrum: Platz, Strom und Klimatisierung.

Die PAM Karte (Teilenummer X1936) ist eine PCIe Steckkarte mit einem ASIC und 16GB RAM. Die Karte wird ab der FAS3040 unterstützt. Die 2020, 2050 und auch die 3020 sind nicht freigegeben. Ab der 3140 darf der Kunde zwei der Beschleunigerkarten einbauen. Mit steigender NetApp Modellnummer werden immer mehr Karten erlaubt, bis hin zu 5 Stück in einer FAS6080. Das ist beachtlich – immerhin resultiert das in einer Erweiterung des Caches um 80 GB! Das ist genug RAM, um eine grosse Menge der Datenbanken gesamt aus dem Cache zu bedienen und die Disks nur noch für Schreibaufträge zu verwenden!

Was sagt die Konkurenz? NetApps Markbegleiter haben keine solche Karte. Dafür verfolgen sie ähnliche Ziele: Durch Verwendung von Solid-State-Disks die Antwortzeiten der Speichersysteme zu senken. Der wichtige Unterschied zu NetApp ist: NetApp verwendet den Speicher nicht als Festplattenersatz, sondern als Cache-Erweiterung. Damit kommt die Performance dem gesamten System zu gute und somit immer den Daten, die am häufigsten gebraucht werden. Völlig selbst-tunend. Bei dem Systemen der Konkurenz muss man die SSDs direkt als RAID-Gruppe definieren – folglich nutzen nur jene Applikationen die Geschwindigkeit, welche auch auf diesem RAID liegen.

Funktionsweise

Die PAM Karte vergrössert genaugenommen nicht direkt den System-RAM, sondern nur einen speziellen Arbeitsbereich des RAMs, nämlich den WAFL Extended Cache. Den System-RAM kann so eine Karte nicht adäquat ersetzen, da die Zugriffsgeschwindigkeit auf eine PCI-Karte immernoch langsamer ist als der Zugriff auf das System-RAM einer NetApp. Dennoch ist der Zugriff auf die PAM Karte mehrere hundert Mal schneller als Leseaufträge von der Platte zu holen.

Die PAM-Karte ist ein sogenannter „Victim-Cache“. Also ein Opfer-Cache. Alle Nutz- und Meta-Daten, welche aufgrund ihres Alters oder Zugriffsmusters aus dem normalen System-RAM verdrängt werden landen mit einer PAM-Karte nicht mehr im Nirvana, sondern im RAM der PAM-Karte. Somit stehe Daten noch mit annähernder RAM-Geschwindigkeit zur Verfügung, welche ohne den Einsatz der Karte erneute Lese-Aufträge der Disk hervorgerufen hätten.

Wenn man diese einfache Funktionsweise genauer betrachtet merkt man, dass die Geschwindigkeit nicht nur direkt durch besseres Caching steigt, sondern auch dadurch, dass die Festplatten insgesamt weniger genutzt werden. Somit stehen auch mehr IOPS für andere Leseaufträge zur Verfügung welche noch nicht im Cache sind.

Der Administrator kann grob Einfluss auf der Verhalten der Karte nehmen, indem er einstellt, welche Art von Daten im Cache bleiben sollen: Nur Metadaten, auch Userdaten oder gar Bulk-Userdaten, also z.B. grosse sequentielle Reads. Das entsprechende Verhalten erreicht man durch setzen der options flexscale.*

Es ist des Weiteren möglich das Verhalten der Karte genauer zu steuern, indem man die neue Flexscale-Funktionalität mit der bekannten FlexShare Funktion kombiniert. FlexShare erlaubt Priorisierung von verschiedenen Flexiblen Volumes und des Caching Verhaltens einzelner Volumes. So kann der Kunde als einfaches Beispiel folgenden Wunsch umsetzen: CIFS Daten werden mit niedrigerer Priorität verarbeitet als die Datenbank-IOs. Diese Priorisierung kann man mit PAM-Karten auf deren Cache ausdehnen.

Praxis

Die Verwendung der Karte erweist sich in der Praxis als denkbar einfach. Man nehme:
– eine PAM Karte
– eine FlexScale Software Lizenz für ONTAP
– mind. FAS 3040
– ONTAP 7.3

In unserem Beispiel testen wir FAS6030 und ONTAP 7.3 GA und nur einer einzigen PAM-Karte. Wir spielen das neue ONTAP auf und prüfen im System Configuration Guide den korrekten Slot für die PAM Karte: Für eine 6030 ist es der Slot 5. Spannung: Der Bootvorgang meldet:

[iomem.card.enable:info]: Accelerator card in slot 5 has been enabled.

Also gleich los, nach dem Login werfen wir einen Blick auf die Hardware:

sysconfig:

slot 5: Performance Accelerator Module I
State: Enabled
Memory Size: 16 GB

slot 5: Performance Accelerator Module I
State: Enabled
Memory Size: 16 GB
Model Name: X1936A-R5
Serial Number: 200205
Part Number: 111-00360
Board Revision: B1
FPGA Release: 1.0
FPGA Build: 200706131558
DIMM Size Part Number Serial Number Status
1: 4 GB VR5JA127214EPSN1 40-01-0812-01066681 Enabled
2: 4 GB VR5JA127214EPSN1 40-01-0807-01066627 Enabled
3: 4 GB VR5JA127214EPSN1 40-01-0743-00066674 Enabled
4: 4 GB VR5JA127214EPSN1 40-01-0811-01066677 Enabled

Die Karte wird also erkannt, in ihrer ganzen Pracht mit 16 GB.

Also weiter, die Lizenz einspielen:

na6031> license add XXXXXXX
A flex_scale site license has been installed.
Enabling FlexScale type: IOMEM
FlexScale Option enabled.
Wed Sep 3 09:40:11 MEST [rc:notice]: flex_scale licensed

Mit FlexScale stehen neue Statistik Optionen zur Verfügung:

na6031> stats show -p flexscale
FlexScale Configuration
ext_cache:ext_cache:state-string:Active
ext_cache:ext_cache:cache_objects:1
ext_cache:ext_cache:block_checksums:1
ext_cache_obj:ec0:type:IOMEM
ext_cache_obj:ec0:blocks:4194304
ext_cache_obj:ec0:usage:0%

na6031> stats show -p flexscale-access

(Statistiken folgen!)

Gerade das flexscale-access Statistik Profil zeit sehr schön, wann Anfragen aus dem RAM der Karte kommen und wann sie von Disk geholt werden müssen.

Benchmarks von NetApp besagen, dass man pro PAM Karte ca 150000 IOs/s mit 4k Größe zusätzlich aus einem Storagesystem bekommen kann.

Nächstes Mal zeigen wir die genauen Statistiken und noch ein weiteres Schmankerl: Wie man ohne eine PAM Karte herausfinden kann, um wieviel schneller die NetApp mit einer Karte wäre!

Autor: mynetapp.de
MyNetApp war unsere deutschsprachige NetApp Community Plattform, welche wir von 2007 bis 2019 betrieben haben. Im Zuge der Konsolidierung von Plattformen haben wir die Artikel in unser Proact Blog integriert.