※2016年10月1日より、サービス名称が「Yahoo!ビッグデータインサイト」から「トレジャーデータサービス by IDCF」に変更となっております。
こんにちは！ビッグデータ戦略グループの赤星（アカホシ）です。ビッグデータサービスのサービス企画を担当しています。非エンジニアです…
エンジニアでなくてもYBIって意外と簡単に導入できるんだよ！ということをお伝えすべく、非エンジニア目線の私が「Yahoo!ビッグデータインサイト」導入体験記を紹介させていただきます。
はじめに
以前にも当社のエンジニアがご紹介しましたが、私たちは自分たちのサービス「Yahoo!ビッグデータインサイト」を略して「YBI（ワイ・ビー・アイ）」と呼んでいます。（巷で「YBIさん」と呼んでいただくことがありますが、「さん」は不要です！「YBI」と呼んでください！）
まずはおさらいから。
YBIとは一言で言うと、データ分析のための環境がまるっと揃った、クラウド型のビッグデータ分析プラットフォームサービスです。つまり、サーバやストレージなどのITインフラを用意する必要がないので、分析したい「生データ」さえ用意すれば、あとはお好きに分析できてしまう、そんなサービスです。
このYBI、いくつかのお客様事例をご紹介していますが、お蔭様で多種多様な業種のお客様に、様々な目的でご利用いただいております。ありがとうございます！
YBIを触ってみよう！
突然ですが、私はExcelが大好きです。Excelが好きすぎて、社内では”Excelの魔術師”と呼ばれるほどです^_^; Excelってめちゃくちゃ賢いので、Excelさえあれば大概のことはできてしまいます。自前のExcelツールを駆使して、社内のいろんなデータを集計したり、分析結果をレポートしたり、そんなことをやっていました。
しかし、そんなExcel方式にも課題は出てきます。
私の書いた関数やマクロが複雑すぎて、他の人にメンテナンスして貰えない。自分がお休みするとレポートもお休み。困った！(>_<)
データ量が増えてくると、関数が複雑すぎるせいか、はたまたファイルリンクが多すぎるせいか、Excelの計算が終わらない問題も。困った困った！！(>_<)(>_<)
そもそも、毎日毎日同じことを繰り返し作業するのって、もしかして時間の無駄!?!?
というわけで、YBIを使って、Excel依存からの脱却を試みることにしました。目指せ、Excelの魔術師からの卒業！
さっそくYBIのアカウントを作成しました。YBIは無料でお試し利用ができるんです。
黒い画面が嫌だ！
しかし、非エンジニアには大きな障壁があるのです！そう、黒いやつです、黒い画面（ターミナル）！あの黒いのを見るだけで少し身構えてしまいます。エンジニアはコマンドラインを使う方がラクなのでしょうが、非エンジニア的にはそこが最初のハードルです。（実際にYBIをご利用いただいている非エンジニアのお客様も同じことをおっしゃっていたので、黒いやつ嫌いは私だけじゃないはず！）
そんな黒いやつ嫌いの人でも大丈夫。YBIはコンソール（ブラウザ経由）だけでも、大抵のことができてしまうのです。
Step1
まずは分析に使用するための元データをインポートします。
ファイルをドラッグ＆ドロップするだけでデータインポートは完了。
Step2
インポートしたデータに対し、SQLを書いてクエリを実行すれば、すぐ対象のデータが取得できます。
YBIには様々な特長がありますが、インフラやデータ処理の専門知識を必要とせず、簡単にデータ分析環境が作れてしまうというのが、大きな特長のひとつです。
イケてるレポートにしたい！BIツールを導入しよう！
ところで、レポートする時には見栄えも重要ですよね？
YBIは大量のデータに対して集計・分析した結果を出力するまでの処理を行いますが、その出力結果を可視化ツールなどに連携することができます。
今まで通りExcelに取り込んで表・グラフなどで表現してもいいのですが、
「もっとイケてるレポートにしたい！」
「せっかくなのでもっといろいろな分析をしてみたい！」
ということで、メジャーなBIツールTableauDesktopを導入してみることにしました。
TableauDesktop自体はとってもユーザフレンドリーなので、Excelのピボットテーブルを操作する感覚ですぐに使いこなすことができました。今まで以上に色んなデータの分析ができそう！データをもっとガリガリ扱ってみたい！という気持ちになってきます。
※社内データのためぼかしています。
自動化に挑戦
さて、いざYBIで環境を作ってみると欲が出てきました。
毎日約1時間の作業。毎日繰り返すと1ヶ月で20時間、1年にすると240時間。240時間って結構な時間ですよね！240時間もあればいろんなことができてしまいます。
そんなわけで、自動化により240時間の確保にチャレンジです！
魔術師のExcelツールでは、データベースから出力されたCSVファイルや、外部のExcelファイルなどを取り込んで集計していたのですが、自動化するにあたり、データソースとなるデータベースへのアクセス方法、TableauDesktopを使ったアドホックなクエリ実行時の処理性能など、色々気になることが出てきたので、お隣さんのエンジニア君に相談してお知恵拝借することにしました。（非エンジニアの導入体験記なのにエンジニアの力を使ってしまいました…スミマセン…m(T_T)m）
中間データを活用
TableauDesktopからYBIのデータテーブルに直接接続して集計実行させていたのですが、データソースが大量なこと・TableauDesktopからの接続性などを考え、エンジニア君のアドバイスに従って中間データを作成しておく方法を採用することにしました。
大量の生データの収集・処理はYBIに任せて、日々のレポートに必要なデータのみに絞ったクエリ結果を中間データとしてMySQLサーバに出力しておきます。TableauDesktopからは中間データに対して分析をかけるという方法で、データが巨大化しても高速にアドホックに分析できる環境を作ることができました。
まとめ
普段、Word/Excel/PowerPointなどオフィス系ソフトしか使わない非エンジニアでも、思いのほか簡単にYBI導入が実現できました。
・ITインフラを気にする必要がない！
YBIは大量のデータを収集し、分析するための仕組みをワンパッケージ化したクラウド型サービスなので、サーバ・ストレージなどのITインフラや、大量データを扱うための分散処理などの専門知識・技術なしで、ビッグデータ分析環境が作れます。データを扱いたい人（←わたし）は、そういった技術要件から解放され、まさに自分がやりたいこと＝データ分析に集中することができるのです。
・生データを溜めて手戻りなく分析を！
分析業務に着手すると、必要なデータ・使いたいデータが多岐に渡ることに気付きます。ある程度の結果を予想して分析してみるものですが、実際には「正直やってみないと分からない」こともあります。必要なデータが足りないことに後々気付いてまたやり直しということも。
とにかく生データを1か所に溜めておけば、トライ＆エラーを繰り返しながら手戻りなく分析が進められます。YBIはこんなふうに「あちこちに散らばった生データをまとめて溜めておく場所」として、活用することができます。
・中間データマートという選択肢
外部ツールやシステムなどの連携するにあたり、「中間データを経由する」方法をご紹介しました。IDCフロンティアではパブリッククラウドサービスIDCFクラウドを提供しているので、IDCFクラウド上に起動したMySQL,RDBなどのインスタンスを中間データマートとして、YBIに組み合わせて使用するといった利用方法も実現することができます。
さいごに
非エンジニアのYBI導入体験記はいかがでしたでしょうか？
エンジニアでなくても思いのほか簡単にデータ分析環境が作れるYBI。もし興味を持っていただけたら、まずは無料で使えるスタータープランをお試しください。サンプルデータを用意しているので、アカウントを作成するだけですぐに使い勝手をお試しいただけますが、実際に分析してみたい生データをインポートしてみると、より実務のイメージがつきやすいと思います。
今回は入門編をご紹介しましたが、データ分析環境を構築するにあたっては、最適なデータインポート方法を選択したり、複雑な社内システムからの接続を考える必要があったり、より技術的な要件が出てくると思います。
どのようにデータをインポートすべきか、出力結果を外部システムにどう連携させるべきかといった、よりテクニカルな課題についても、当社エンジニアが導入支援させていただきますので、是非お気軽にご相談ください。
最後に…我が社のことを少しだけお話すると、社内でも「データを活用しよう！」という風潮が広がっており、色々な部署からYBI利用の相談を受けるようになってきました。実際にログやDBのデータを集計してサービス改善を検討してみたり、各種外部ツールと連携してサポートを強化してみたり、様々な部署で其々の業務にYBIを活用するケースが増えています。中には私と同じように非エンジニアの担当者も多く、「データ分析」が、ある特定の人たちだけが使うものではなく、裾野が広がりつつあることを実感しています。機会があれば今度は、そういった社内での具体的な活用事例もご紹介しようと思います。