OSUOSLがログ管理にSplunkを採用
OSUOSLは、コミュニティへのサービスという形でいくつかのオープンソース開発プロジェクトに協力している。WebサイトのFAQによると、同研究所の目的は、「本学のたゆまぬ探求精神と社会的責任感に資する技術をオープンな標準を用いて奨励する」ことにある。
同研究所の主任システムエンジニアであるCorey Shieldsは60台のサーバの管理を担当しており、これらのサーバのログはsyslog-ngおよびstunnelを使って中央のホストに書き出されている。Splunkを導入する前のログホスト環境は、ログファイルをディレクトリ階層に出力し、毎日新しいファイルを生成するような構成でセットアップされていた。いずれかのサーバに問題が生じたときは、全ログファイルを手動で検索して原因を突き止めるというやり方をしていた。「このセットアップで問題を見つけるにはgrepを何度も行ったりawkを使ったりする必要があり、しかも検索する内容をあらかじめ特定しなければならなかった」とShieldsは語っている。ログを手動で見ていくのは非常に時間がかかるし、特に、複数のサーバが同じ機能を実行していて毎日数ギガバイトのログデータを生成するような環境では非現実的である。
Shieldsは、昨年サンフランシスコで行われたLinuxWorld Conference and ExpoでSplunkのデモンストレーションを見て「非常にいいアイデアだと思った」と語っている。Splunkは、サーバログのためのGoogleのようなソフトウェアである。OpenSolaris.orgのBen Rockwoodはこのソフトウェアを「あらゆる種類のログを吸い上げ、インデックスを付け、AJAX対応の気の利いたWebインタフェースで簡単に検索できるようにする」と説明している。
Shieldsによれば、Debianを実行しているHewlett-Packard ProLiant DL140サーバにSplunkをインストールするのはほんの数分で済む。「必要なものはすべてパッケージ化されていて、いくつかの質問に答えるだけでインストールできる。Splunkでは、きわめて多様な方法でデータにインデックスを付けることができる。私はいくつかの方法を丸一日試してみた結果、syslog-ngを使って名前付きパイプにデータを出力し、それをSplunkに監視させることにした。これにより、既存のログホストの構成を保ちつつ、足りない機能をSplunkで補完するという環境を構築することができた」。
Shieldsは「最初、Splunkにデータを取り込むときには少々難航した」と語ったが、ユーザフォーラムに質問を投稿するとすぐに返事が来て、後は順調に進んだということだ。
「Splunkはすぐにその威力を発揮し、それまで私が兆候すら気付かなかったいくつかの問題を発見するのに役立った。私が（Splunkを使って）ある開発たたき台のログを見ていたところ、とある古いジョブが6ヶ月前に開発グループを去った開発者の古いアカウントでずっと実行されていることに気が付いたのだ。もしも以前の方法でログを1ページずつ見ていたならば、おそらく問題の可能性に気付かなかっただろう」とShieldsは語っている。
Splunkによる作業時間の短縮は、OSUOSLにとって非常に大きな成果であるとShieldsは述べている。Shieldsは、近いうちにSplunkに高度なレポート機能が搭載されることを期待している。「統計は重要だ。統計があれば、新しいジョブラインやリソースの必要性を客観的に証明できる。一群のマシンがすべて同じジョブを実行している場合、統計情報を収集する作業はリソースのサイズが大きくなるにつれて難しくなるだろう。検索結果やデータセットからその場でawstatsのようなレポートを生成できる機能をぜひ期待したい。いくつかの検索結果をグラフ化して重ね、傾向を比較できるような機能があれば素晴らしいと思う」。
Splunkには、フリーウェアダウンロードと、Splunk Professionalという商用アプリケーションの2種類がある。後者は1年ごとのライセンス契約になっており、1日あたりのインデックス処理量に応じて価格が異なる。1日あたりのインデックス処理量が500メガバイト以下の場合、年間費用は2,500ドルである。
Splunkの創立者の1人であるPatrick McGovernによれば、同社は1年以内にソースコードの一部を公開する可能性を視野に入れているそうだ。McGovernはこう述べている。「現時点では、ハイブリッドのような形を想定している。ソフトウェアを無料で提供し、すべてのAPIを開発者に公開して、我々の検索エンジンをニーズに合わせて拡張・カスタマイズできるようにすることを考えている。また、一部のコードは非公開のままにするつもりだ。大規模なデータセンターにはプロフェッショナル版のSplunkを購入するだけの理由があるからだ」。
NewsForge.com 原文
