米Microsoft、深層学習向けの最適化技術「DeepSpeed」を公開

　Microsoft Researchは2月10日、深層学習（ディープラーニング）向けの最適化技術「DeepSpeed」を公開した。分散型のモデル学習が簡単かつ効果的になり、1000億件のパラメーターモデルにも対応できるようになるという。

　深層学習で課題となる自然言語モデルのトレーニングの効率化を図る目的で開発されたもので、PyTorchとの互換性がある。新たに開発した並列化オプティマイザZeRO（Zero Redundancy Optimizer）を含み、モデルとデータの並列化に必要なリソースを削減できるという。

　ZeROは大規模な分散型深層学習向けのメモリ最適化技術で、現世代のGPUクラスタ上で1000億のパラメーターを持つ深層学習モデルを、現在最高レベルのシステムと比べて3～5倍のスループットでモデルの学習を実行できるという。なお、コードへの変更は最小限に抑えることができるとしている。

　DeepSpeedとZeROにより、Microsoft Researchは170億のパラメーターを持つ最大の言語モデルというTuring-NLG（Turing Natural Language Generation）を生成したことも報告している。機械学習カテゴリで新たなSOTA（State of the Art）記録を樹立したという。

　DeepSpeedはプロジェクトのWebサイトより入手できる。ライセンスはMIT License。

DeepSpeed
https://github.com/microsoft/DeepSpeed