米Intel、Apache Sparkベースの深層学習ライブラリ「BigDL」をオープンソースで公開

 米IntelがApache Sparkベースの分散型深層学習(ディープラーニング)フレームワーク「BigDL」をオープンソースで公開した。

 BigDLは分散型の深層学習ライブラリ。Apache Sparkプログラムとして深層学習アプリケーションを作成し、既存のSparkまたはHadoopクラスタを活用して動かすことができる。

 Luaで作成された学術向けのコンピューティングフレームワーク「Torch」に倣ってモデリングされているのが特徴で、GPUアクセラレーションを使って高速な処理が行える。Tensor経由での数値計算、ハイレベルのニューラルネットワークなどの種類をサポートし、事前にトレーニングされたCaffe(オープンソースの深層学習フレームワーク)やTorch向けの既存モデルを読み込ませることもできる。

 性能、効率の良いスケールアウトも特徴で、Intel MKL(Intel Math Kernel Library)とマルチスレッド化されたプログラミングを行うことで、単一ノードのXeonや汎用のGPU上でCaffeやTorch、TensorFlowを動かす場合と比べて高い性能を実現するとしている。

 ビックデータが保存されているクラスタ上で機械学習を適用したい場合、Sparkのビックデータプログラムに機械学習機能を加えるために利用することもできるという。

 BigDLはプロジェクトのWebサイトより入手できる。ライセンスはApache License 2。Amazon EC2用のインスタンスも提供する。

BigDL
https://github.com/intel-analytics/BigDL