米Microsoft、深層学習向けの最適化技術「DeepSpeed」を公開

 Microsoft Researchは2月10日、深層学習(ディープラーニング)向けの最適化技術「DeepSpeed」を公開した。分散型のモデル学習が簡単かつ効果的になり、1000億件のパラメーターモデルにも対応できるようになるという。

 深層学習で課題となる自然言語モデルのトレーニングの効率化を図る目的で開発されたもので、PyTorchとの互換性がある。新たに開発した並列化オプティマイザZeRO(Zero Redundancy Optimizer)を含み、モデルとデータの並列化に必要なリソースを削減できるという。

 ZeROは大規模な分散型深層学習向けのメモリ最適化技術で、現世代のGPUクラスタ上で1000億のパラメーターを持つ深層学習モデルを、現在最高レベルのシステムと比べて3~5倍のスループットでモデルの学習を実行できるという。なお、コードへの変更は最小限に抑えることができるとしている。

 DeepSpeedとZeROにより、Microsoft Researchは170億のパラメーターを持つ最大の言語モデルというTuring-NLG(Turing Natural Language Generation)を生成したことも報告している。機械学習カテゴリで新たなSOTA(State of the Art)記録を樹立したという。

 DeepSpeedはプロジェクトのWebサイトより入手できる。ライセンスはMIT License。

DeepSpeed
https://github.com/microsoft/DeepSpeed