Elastic Stack 6.6 bringt Index-Lifecycle-Management und eingefrorene Indizes

Elastic hat am 29. Januar 2019 die Version 6.6.0 des Elastic Stack veröffentlicht. Die Sammlung quelloffener Software für die Suche und Auswertung großer Datenbestände erhält mit dem Index-Lifecycle-Management eine neue Funktion, die den Lebenszyklus eines Index automatisch in vier Phasen steuert. Dazu kommen eingefrorene Indizes, die deutlich mehr Datenvolumen pro Knoten bei minimalem Heap-Verbrauch online und durchsuchbar halten.

Das Index-Lifecycle-Management richtet sich an Zeitreihen-Anwendungen wie Logging, Metriken und APM, bei denen Daten in zeitbasierten Indizes abgelegt werden. Nutzer können Richtlinien definieren, die einen Index nacheinander durch die Phasen hot, warm, cold und delete führen: Eine primäre Shard pro Hot-Knoten maximiert den Indexier-Durchsatz, ist ein Index voll oder ein Zeitraum abgelaufen, rollover auf einen leeren Index. Danach wandert der alte Index auf Warm-Knoten, wo er auf eine Shard verkleinert und per Force Merge auf ein Segment zusammengeführt wird, später auf Cold-Knoten mit günstigerem Speicher. Bisher erledigten Werkzeuge wie Curator oder eigene Automatisierungsskripte diese Aufgaben außerhalb des Clusters; Elastic nennt als Nachteil die Beschränkungen und den Verwaltungsaufwand dieser Lösungen.

Eingefrorene Indizes verschieben das Verhältnis von Speicher und Heap

Eingefrorene Indizes bezahlen Speicherdichte mit Suchlatenz: Ein eingefrorener Index belegt keinen Heap mehr, wodurch ein einzelner Knoten tausende Indizes mit sehr geringem Overhead verwalten kann. Trifft eine Suchanfrage auf eingefrorene Indizes, öffnet die Abfrage jeden Index nacheinander vollständig, führt die Suche aus und schließt ihn wieder. Anders als geschlossene Indizes bleiben sie repliziert. Elastic adressiert damit Anwendungsfälle wie mehrjährige Archivdaten aus regulatorischen Vorgaben, die online durchsuchbar bleiben sollen, ohne Spitzenleistung bei jeder Abfrage zu verlangen.

Der Rest des Releases verteilt sich über den Stack: Geoshapes nutzen nun wie Geo-Punkte vorher die BKD-Baumstruktur und sollen schneller indexieren, weniger Platz auf der Festplatte belegen und weniger Speicher verbrauchen. Elasticsearch SQL erhält native Unterstützung für Datenhistogramme in der SQL-Syntax, was laut Elastic vor allem Canvas-Nutzer beim Bau von Zeitreihen-Diagrammen in Kibana unterstützt. Die Machine-Learning-Oberfläche in Kibana bekommt für alle Nutzer sichtbare Annotationen, mit denen Ermittler Befunde und Schritte bei System- oder Sicherheitsproblemen dokumentieren. Das passt zur Strategie, die Elastic schon 2016 mit der Übernahme von Prelert eingeschlagen hatte: automatische Anomalieerkennung als festen Bestandteil des Stacks zu etablieren.

Beats, Logstash und Kibana ziehen nach

Elastic APM meldet mit den aktuellen Agenten automatisch System- und Prozessmetriken für CPU und Arbeitsspeicher neben Traces und Fehlern; Distributed Tracing ist nun allgemein verfügbar und alle Agenten entsprechen dem OpenTracing-Standard. Auditbeat bringt ein neues System-Modul, das Betriebsystemdaten, Prozesse, Sockets und Nutzer einer Host-Maschine erfasst, inklusive vorgestellter Machine-Learning-Jobs für Auditedaten. Filebeat nimmt NetFlow- und IPFIX-Daten über UDP entgegen und unterstützt NetFlow in den Versionen 1, 5, 6, 7, 8 und 9. Bei der zentralen Beats-Verwaltung lassen sich Konfigurationsteile jetzt gegen Änderungen sichern; Anpassungen der Konsolen- und Dateiausgabe blockiert das System standardmäßig. Die performantere Java-Ausführungsumgebung von Logstash verlässt nach der Beta in 6.1 den Experimentierstatus. Kibana kann in einer Instanz mehrere Elasticsearch-Knoten anbinden, was den Single Point of Failure der bisherigen Verbindung umgeht, und Dashboards lassen sich als PNG exportieren. Details zum Lifecycle-Management dokumentiert Elastic in den offiziellen Versionshinweisen zur Indexverwaltung.

Weitere News

Weitere News

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein