データ統合の促進と内製化を強力に支援
株式会社primeNumber（本社：東京都目黒区、代表取締役CEO 田邊 雄樹）は、データ統合自動化サービス「trocco(R)（トロッコ）」に多言語ETL機能を追加しましたので、お知らせ致します。
trocco(R)は、ユーザーの持つ膨大かつさまざまな種類のデータを変換し、自動で企業のデータ基盤へ統合するクラウド型サービスです。企業はこれらのデータを分析することで、自社のビジネス成長につなげていくことが可能となります。
これまでtrocco(R)では、その管理画面上で行う基本的なデータ変換に対応してきました。今回、多言語ETL機能の追加により、ユーザーが好みの言語でプログラミングすることで、自社のニーズに合ったデータ変換をより自由に行えるようになります(下図は当該機能画面イメージ)。
多言語ETL機能 追加の背景
様々なデータをDWHなど企業のデータ基盤に統合する際には、データをETL＜ 抽出(Extract) 変換(Transform) 転送(Load) ＞する必要があります。この変換に関して、例えば、
一定以上・以下の数値データはフィルタをかける
メールアドレスのような個人情報関連データはマスキングする
テーブル(=データがまとまった表)内のカラム(=列)の順序を変更する
等といった基本的なデータ変換は、従来よりtrocco(R)の管理画面上操作で行うことができました。
しかし、企業が持つデータの種類・量は爆発的に増え続けており、ユーザーが必要とするデータ変換のニーズも日々多様化しています。今回の機能追加は、自身の好みのプログラミング言語で、自社のニーズに合ったデータ変換をより自由に行いたい、というユーザーのご要望にお応えして実施致しました。
多言語ETL機能 3つの特徴
1 : 自由にデータ変換ができる
ユーザー固有の要件に応じ、より自由にデータの変換を行うことができます。固有の要件に対応するため、周辺のシステム環境上で追加実装する、と言った工数を削減することができます。
2 : プログラミング言語を選択できる
ユーザーが普段から使用している言語でETLを気軽に組めるよう、言語を選択できます。これにより、ユーザーは新たな学習工数を割くことなくデータ変換を行うことができます。
今回は、Webアプリケーション構築等によく使用されるRubyと、データサイエンティストがよく使用するPythonの2言語を先行して対応しました。今後はユーザーの要望をお受けしながら、JavaやJavaScriptなど様々なプログラミング言語に対応していく予定です。
3 : デバッグが容易にできる
一般的にプログラムのデバッグには、プログラムに入力するテストデータが必要です。本機能では、お客様のデータを元にテストデータを自動で用意します。また、テストデータはお客様の手で変更・保存することができるため、ETLプログラムに対する不正な入力値などを素早く検証することができ、業務効率を上げることが可能となります。
多言語ETL機能に対する既存ユーザーからの先行フィードバック
既存ユーザーに対しては本機能について紹介を始めており、既に下記のようなフィードバックを頂いています。
セキュリティをより強化できそう。例えば、カラムの値に対してソルト付きハッシュもかけられる。
画面上でデバッグができるのは魅力的。
データサイエンティストが慣れているPythonを利用できて助かる。
複雑な計算も対処しやすそう。例えば、ライブラリを利用できるのは複雑な計算を行う上で非常に便利だ。
こうしたユーザーのフィードバックを受けながら、様々な機能で改善を積み上げていく次第です。
データ統合自動化サービス「trocco(R)」とは
顧客が活用したいデータは、大容量で形式も様々、かつ複数の場所に散らばっています。そのままの状態ではデータをビジネスに活用することは難しく、まずはDWHと呼ばれる保管庫にデータを統合し、その後、帳票やBI等の可視化ツールと連携してグラフ等の見やすい形に変える必要があります。
従来は、このプロセスをエンジニアが手作業で行っていましたが、trocco(R)はサービス上で自動化することができます。エンジニアの作業工数を削減することで、エンジニアがより戦略的な業務に集中することを支援します。
URL : https://trocco.io/lp/index.html
primeNumber(プライムナンバー) 会社概要
我々は、「あらゆるデータを、ビジネスの力に変える。」データテクノロジーカンパニーです。データが爆発的に増えていく時代に、誰もがすばやく、簡単にデータを使える環境を構築し、データ活用までのプロセスを最適化。高度なテクノロジーと独自のアイデアで、世界中のビジネスを支援します。
会社名 : 株式会社primeNumber（英文名：primeNumber Inc.）
代表 : 代表取締役CEO 田邊 雄樹
設立 : 2015年11月
オフィス : 東京都目黒区下目黒2-20-28 東信目黒ビル7F
企業サイト: https://primenumber.co.jp/
事業内容 : 汎用型データエンジニアリングPaaS 「systemN ™」の開発・運営
: データ統合自動化SaaS「trocco(R)」の開発・運営
: データ活用伴走支援型ソリューション
本リリースのお問合せ先
株式会社primeNumber
コーポレートコミュニケーション室 広報担当
Mail : pr@primenumber.co.jp
＜ 各職種で積極採用活動中 ＞
求人情報 : https://primenumber.co.jp/recruit/
