ビッグデータと統計学

ビッグデータと統計学

ビッグデータと統計学分科会の営業部 上原です。
以下、ビッグデータと統計学の活動報告をします。

ビッグデータと統計学分科会について、大きな要素が二つ存在しているところは他の分科会と違ったかもしれません。
「ビッグデータ」と「統計学」ですから。
しかし、この二つの要素が繋がっていると気づけたことが私が活動した最大の成果だったと思います。

■分科会で活動した結果

ビッグデータの活用方法・事例調査をして下記の共通点が分かりました。

今まで利用しなかった大量で複雑で価値を見いだせなかった情報をどう活用するかで革新的なビジネスを起こしたこと。
また、そのデータを分析するための仮説や検証、また分析後の決断を下すために「統計学」が関係していること。

上記に至る過程の一年間を振り返ってみます。

■初めて分科会メンバーが集まった時

全員でビッグデータをやるか、統計学をやるかで議論しました。

メンバーの興味はビッグデータ派と統計学派で二つに分かれていました。

ビッグデータ派が多かったので分科会の活動は「ビッグデータの事例を集め、ビッグデータとは何か?を調査する」とすんなり決定すると思いましたが・・・
統計学って何だ!?という疑問がビッグデータ派からも出てきました。

○その時の議事録一部抜粋

・もし目の前にビッグデータがあったとして、それを活用できなければ意味がない?
・もしビッグデータの活用分析結果を手に入れても、妥当なデータなのか分析結果を読み解けなければ意味がいない?
・ネットや書籍で分析結果を見るが、それを鵜呑みにしてはいけないという記事を読んだことが有る
・データの見方、分析方法を知るほうが自分たちには大事である
・統計分析方法を調べるのが先ではないか
・分科会名もビッグデータと統計学ではなく、統計学とビッグデータと他の分科会に間違われるくらいのことをしたい

ということで、今年の分科会では「各自統計手法を調べ、最終的に何か分析してみよう!」ということになりました

また、分科会決起集会と題し、食事会を行う予定が組まれました。
日程は新人勧誘会(※)の後。
なぜなら、新人が配属された後に行うことで、新人と分科会のメンバーの距離を縮めようとの狙いがあったからです。
(※新人勧誘会とは、新人に対し各分科会がプレゼンをして勧誘する会です)

■1か月後

個々統計手法を調べ、それを持ち寄りました。

○その時の意見

・本格的な統計学を学ぶのであれば、各自勉強するしかない
・いくつか自分たちでも使えそうな統計手法を試してみたい

何かを分析したいと考えていった結果、下記を行いたいと提案がありました

○決まったこと

・過去数年間の景気とIT業界の売上の比較し今後のIT業界の展望を分析する

そこで各自必要なデータを入手し、次回の分科会で集め、分析を行うことにしました

別件ですが、この会議の後、分科会決起集会が開かれました。
会議で分科会の方向性が決まり、分科会のメンバーの一体感が有りました。
分科会以外のことでも、会話が盛り上がり良い決起集会だっと思います。

ちなみに、新人はいません。人気が低かったようで、勧誘は失敗に終わってます。。。

■数か月後 ~分科会活動に行き詰まる~

私たちの前に立ちはだかったのがデータの信頼性です。
分析に使用するデータが手に入ったり、入らなかったりと、入手したデータでは統計手法を試すのに妥当ではないという判断になってしまいました。

大幅な軌道修正が必要となり、過去の景気とIT業界の売上比較はあきらめ、今後どのような活動を行うか再検討しました。
その結果、最終成果物は「ビッグデータ」の調査結果と「統計学」の手法を試すことと決定。

○再度、何を分析するかを考えた結果

・統計手法を試してみるということを重点的に行う(業界や景気の分析はしない)
・初回の会議で出たビッグデータの事例を調査する

そして、分析対象データを統計局が公開している「出生・死亡数と婚姻・離婚件数」のデータを使用し、自由に統計手法を試してみることとしました。

■数か月後 ~分科会活動に光りが見える~

前回の打合せで決めた「出生・死亡数と婚姻・離婚件数」の分析は統計手法を試すことが出来、順調に進んでいました。

そのため、今回は主にビッグデータの事例をどうするかを議論しました。
分科会メンバー各自で事例を持ち寄り、その中でも日本の酒蔵でビッグデータを使った事例を深堀することと決定。

何故酒蔵か?というと、分科会メンバーに多数の日本酒好きがおり、その熱烈な支持があったからです。
・・・そんなことも有り、メンバーが真剣に深堀をしていくことが出来ました。

そして、注目すべきは今までデータでは管理していなかったことを管理すること、それを分析することで、革新的なビジネスを起こしたということです。

これぞビッグデータだ!!と。なんとわかりやすい例だと。その時は盛り上がりました。

酒蔵の事例を調べたことで、統計学だけでなく、ビッグデータを含め最終結果発表の内容や見通しが出来き、一気にゴールまで進むこととなりました。

■最終結果発表

いろいろ書きましたが、簡単に今年の分科会活動のまとめをさせて頂きます。

「統計学」

出生・死亡数と婚姻・離婚件数を年代別に分析し、時代背景と照らし合わせ。
ビッグデータからどのような情報が得られるか。また、様々な統計手法を試していくことで、統計手法の使い方や手順について習得できました。

「ビッグデータ」

価値を見いだせなかった情報をどう活用すかで革新的なビジネスを起こすこと。
価値を見いだせないデータをどのように分析に使うか、どのデータを使うか、何かをデータとするかどうかは人間が決めること。
(ある程度分析方法を決めたらコンピュータが分析はしてくれるので)

ビッグデータの今後として

データはより増えていくと予想されてます。
2013年の時点では9億台だったが、2020年には500億台のデバイスがインターネットに接続され
さらに1兆個のセンサーがインターネットに繋がると言われています。

このデータをどう活用し、革新的なビジネスを起こすかを私たちは考えていかなければいけません。

また、ビッグデータの課題として

先ほども書きましたが、分析は機械に任せろ!と最近は考えられています。
しかし、最終的な判断は人間が行わなければならないということが重要です。

分析結果は進む道を指し示すもので、分析結果を信じて進むと判断するのは人間が行わなければなりません。

ビックデータの事例の一つで、「分析者と経営層の間で深い溝が有り、分析結果を活かしきれていない」という課題も有りました。

ビッグデータは分析するためにも、その結果を信じるためにも統計学が関わっております。
ビッグデータと統計学の二つの要素が繋がっているのです。

今後ビッグデータの分析結果を手にした時、それを有効活用出来るためにも、皆様も書店で統計学の本を手に取ってみてはいかがでしょうか。

最後に、ささやかながら賞を頂きました。受賞チームには賞状と金一封が出ました。
頂いた賞状と金一封を手に、これから打ち上げに。。。
いやいや、頂いた賞を胸に、次年度のモチベーションへと繋げていきたいです。

以上 「ビックデータ」と「統計学」の分科会でした