ストリーム処理フレームワークの「Apache Flink 1.11」が公開

末岡洋子
シェア

　オープンソースの分散ストリーム処理の「Apache Flink」開発チームは7月6日、最新安定版となる「Apache Flink 1.11.0」を公開した。

　Apache Flinkはオープンソースのストリーム処理フレームワーク。JavaとScalaで作成された分散ストリームデータフローエンジンを持ち、Kubernetes、Yarn、Apache Mesosなどのリソース、HDFS、Amazon S3などのストレージを利用できる。

　Apache Flink 1.11は2月に公開された1.10に続く最新版。

　中核のデータフローエンジンで、新しいチェックポイントの仕組みとなるUnaligned Checkpointsをベータ導入した。バックプレッシャー下でチェックポイントの性能を改善するという。デフォルトでは無効となっており、チェックポイントの設定から有効にする必要がある。

　バッチとストリーミングの実行を統一することでソースの実装を簡素化するSource APIを導入した。

　ウォーターマークゼネレーターの2種類インターフェイス（AssignerWithPunctuatedWatermarks、AssignerWithPeriodicWatermarks）を単一のインターフェイス（WatermarkGenerator）に統合した。新しいコネクタの実装やウォーターマークの排出の管理などが改善するとしている。

　このほか、Flink SQLではChange Data Capture（CDC）の導入、Python UDFのサポートなどが加わり、PyFlinkも強化が加わっている。

Apache Flink
https://flink.apache.org/