米Microsoft、最近傍探索ライブラリ「Space Partition Tree And Graph(SPTAG)」をオープンソースで公開

 米Microsoftは5月15日、Bingで用いている最近傍探索ライブラリ「Space Partition Tree And Graph(SPTAG)」をオープンソースで公開したことを発表した。

 最近傍探索は、言語、画像ピクセルなどの数値表現を類似性を示す近接にマッピングし、それを使って検索を行う技術。検索のほか、検索でのユーザーのクリックなどを考慮したモデルのトレーニングにも使われるという。

 Space Partition Tree And Graph(SPTAG)は分散処理に対応する最近傍探索ライブラリ。Microsoft Research(MSR)とMicrosoft Search Technology Center(STC)が開発した技術で、C++とPythonで実装されている。大規模なベクター検索シナリオ向けに高品質のベクターインデックスの構築や検索が可能という。

 Microsoftの検索エンジン「Bing」でも使われており、「How tall is the tower in Paris?(パリの塔の高さは?)」といった検索キーワードが曖昧な場合の推論するのに使われているという。検索結果では、「Eiffel(エッフェル)」という言葉が入っていなくても、エッフェル塔の高さを伝える自然言語の結果を返すことができるという。

 Microsoftによると、これまで単語、Webページスニペットなど1500億以上のデータをカテゴリ化したという。

 SPTAGはGitHubのプロジェクトのWebサイトより入手できる。ライセンスはMIT License。

Space Partition Tree And Graph(SPTAG)
https://github.com/microsoft/SPTAG