Apache Flink 1.7: Streaming SQL und Grenzen der Zustandsmigration

Das Apache-Flink-Projekt hat am 30. November 2018 Flink 1.7.0 mit mehr als 420 erledigten Vorgängen veröffentlicht. Die Ausgabe erweitert Streaming SQL und Zustandsverwaltung. Sie unterstützt nun auch Scala 2.12.

Temporal Tables und Temporal Joins verbinden Datenströme mit dem zeitlich passenden Stand einer veränderlichen Tabelle. Das Projekt nennt historische Wechselkurse als Beispiel. Die Mustererkennung mit MATCH_RECOGNIZE in Streaming SQL ist zunächst Beta.

Schemawechsel zunächst mit Avro, Savepoints nicht beliebig verschieben

Die eingebaute Schemaentwicklung unterstützt in 1.7 zunächst generierte Avro-Klassen. Änderungen an anderen Zustandstypen sind damit nicht automatisch abgedeckt. Hinzu kommen ein S3-StreamingFileSink mit Exactly-once-Garantien und eine versionierte REST-API.

Die Release Notes zu Flink 1.7 warnen vor Änderungen beim Umgang mit Savepoints: Sie werden nun auch zur Wiederherstellung verwendet. Solange kein neuerer Checkpoint oder Savepoint vorliegt, sollen sie nicht verschoben oder gelöscht werden.

Der bisherige Legacy-Modus entfällt. Außerdem kann Scala 2.12 zusätzliche explizite Typangaben erfordern; die Scala-Shell wird für diese Version nicht veröffentlicht. Diese Hinweise betreffen den Upgrade-Pfad von Flink 1.6 auf 1.7.

Weitere News

Weitere News

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein