米Yahoo!、Hadoopのセキュリティ強化版とワークフローエンジンをオープンソースに

末岡洋子
シェア

　米Yahoo!は6月29日（米国時間）、分散処理プラットフォーム「Apache Hadoop」に関連した最新技術「Hadoop with Security」と「Oozie」を発表した。Yahoo!は2つの技術をApache Software Foundation（ASF）に移管し、今後はオープンソースプロジェクトとして開発を進めていく。

　Hadoopは、米Googleの「MapReduce」と「Google File System（GFS）」に着想を得てはじまったオープンソースプロジェクト。現在、ASFのトップレベルプロジェクトとして開発が進んでいる。Yahoo!はHadoopの最大の貢献者であり、最大の実装事例となっている。

　Hadoop with Securityは、セキュリティにフォーカスしたもので強い認証が可能となる。オープンソースの認証プロトコル「Kerberos」を統合してロギング機能を強化した。これにより、安全なコラボレーションや認証データの共有が可能になるという。

　Oozieは、Hadoop向けのワークフローエンジン。Hadoop with Securityと統合し、「Hadoop Distributed File System（HDFS）」「Pig」やMapReduceなど、Hadoop上のジョブを自動化・管理できる。Yahoo!社内でも、複雑なワークフローやデータパイプラインをグローバルに管理するのに用いているという。

　両プロジェクトは今後、ASFの下でオープンソースとして公開され開発を進めていく。Yahoo!では、これらの最新技術によりHadoopの受け入れを加速したいとしている。

米Yahoo!
http://www.yahoo.com/

「Apache Hadoop」
http://hadoop.apache.org/