Googleによる軽量な自然言語処理向け深層学習モデル「ALBERT」
Googleが自然言語処理向け深層学習モデル「BERT」の軽量版という位置付けの「A Lite BERT（ALBERT）」をオープンソースで公開している。BERTより少ないパラメーターで同等の精度を実現するとしている。
ALBERT（A Lite BERT）は、Googleが2018年に発表した自己教師ありの手法であるBERT（Bidirectional Encoder Representations from Transformers）の軽量版。自然言語処理（NLP）向け深層学習のモデルであるBERTに、パラメーターを削減する手法を加えた。容量をより効率よく割り当てることで大規模な設定が可能となり、メモリの制約を受けにくくなるとしている。
パラメーターは少ないながらBERTと同レベルの精度を維持するとしており、Stanford Question Answering Dataset（SQuAD） v2.0、同1.1、RACEベンチマークなど12種のNLPタスクでBERTより優れた結果が出ているという。
Googleはすでに、ALBERTを深層学習向けフレームワークTensorFlow上のオープンソース実装として公開している。Base、Large、Xlarge、Xxlargeと4種類のモデルがあり、2019年12月末にはバージョン2と中国語モデルも公開した。1月はじめには、バージョン2のTensorFlow HubモデルをTensorFlow 1.15でも使えるように修正が加わっている。
