ARMをサポートした「Apache Hadoop 3.3」が公開

末岡洋子
シェア

　Apache Hadoopコミュニティは7月28日、最新安定版となる「Apache Hadoop 3.3.0」公開を発表した。ARMのサポート、Java 11ランタイムのサポートなど多数の強化が加わっている。

　Apache Hadoopはオープンソースの分散処理フレームワーク。共通ツールのHadoop Common、分散ファイルシステムHadoop Distributed File System（HDFS）、ジョブスケジューリングとクラスタリソース管理のフレームワークHadoop YARN、YARNベースの並列処理システムHadoop MapReduce、オブジェクトストアHadoop Ozoneなどのモジュールで構成される。

　Apache Hadoop 3.3は2019年1月に公開されたバージョン3.2に続く3系の最新版。2020年になって初のリリースとなり、バージョン3.2から2100件以上のバグの修正と強化が加わった。

　ARMアーキテクチャをサポートした。Java 11ランタイムのサポートが安定扱いとなった。

　Protocol Buffersがバージョン2.5から3.7.1になった。Protocol BuffersはGoogleが開発する言語中立型の構造化データのシリアライズのための仕組みで、アップデートは、バージョン2.5がサポート終了を迎えたことを受けてのもの。

　HadoopメトリクスをPrometheusをエクスポートできるようになった。デフォルトでは無効となっておりhadoop.prometheus.endpoint.enabledをtrueに設定することで、Hadoopデーモンの/promエンドポイントからPrometheusと親和性のあるフォーマットでメトリクスを得られる。

　AuthenticationFilterのなりすまし防止メカニズムをサポートした。HDFS Router based Federation（RBF）がKerberos認証に対応した。このほかにも、バグの修正なども加わった。

　Amazon S3でも多数の強化が加わり、Delegation Tokenのサポート、404キャッシュ処理、S3guard性能の性能などが改善している。

　YARNアプリケーションの編集と検索インターフェイスを持つアプリケーションカタログシステムを導入した。YARNにNodeManager（NM）でキュー・実行できるOPPORTUNISTICコンテナが加わった。既存のGUARANTEEDコンテナよりも優先度が低く、中央のYARN RM、分散スケジュールなどを通じて分散スケジュールが可能になった。

　このほかにも多数の強化が加わっている。

Apache Hadoop
https://hadoop.apache.org/