Yahoo!がビックデータサービスエンジン「Vespa」をオープンソースとして公開

　Yahoo!（米Verizon傘下）は9月26日、ビックデータ処理・サービスエンジン「Vespa」をオープンソースとして公開した。検索やレコメンデーションといった処理を迅速に提供できるという。

　Vespaは、Yahoo!が2003年に買収したOvertureとともに取得したalltheweb.comのチームが中心となって構築した。クエリなどの処理を迅速に行うためにデータの保存とインデックスを行う。大規模なデータセットに対して低遅延で処理できるとしている。2006年のHadoop公開に続く重要技術のオープンソース化と位置付けている。

　背景として、HadoopやStormを用いてデータ処理アプリケーションを構築できる環境が整っている一方、検索やレコメンデーションなどの処理結果をエンドユーザーに提供する部分については課題があったと説明している。Vespaを利用して、ユーザーのリクエストに応じて処理を実行するアプリケーションを構築できるという。

　Vespaは、クエリ言語YQLを利用して検索などを行える。構造化された入力だけでなく、音声による検索など構造化されていない入力もサポートする。リアルタイムでのクエリのグループ化とアグリゲーション、毎秒数千レベルのクエリに対応できる拡張性などの機能を持ち、機械学習を利用したランキング生成やレコメンデーションに適用できる。

　キャパシティの伸縮性、フォルトトレラントも特徴で、データを失うことなく稼働中のマシンの追加やリプレースができるという。

　すでにYahoo!社内ではYahoo.com、Yahoo News、Yahoo Sports、Yahoo Finance、Flickrなど多数のサービスで使われており、検索クエリの回答、レコメンデーション、パーソナライズされたコンテンツや広告の表示を行なっているという。同社は10億人のユーザーを抱え、平均すると毎秒9万回近くのコンテンツと広告を処理し、遅延は100ミリ秒以下にとどまっているという。

　VespaはプロジェクトのWebサイトより入手できる。ライセンスはApache License 2。

Vespa
http://vespa.ai/