ビッグデータという言葉はよく耳にしますが、それではビッグデータとは何か、と聞かれるとよく分からない人が多いですよね。ビッグデータとは簡単にいえば、従来のソフトウェアでは処理不可能な種々雑多な大量のデータ群のことです。ビッグデータをある目的を持って分析できると、種々雑多であったデータ群が構造化され、戦略的なビジネス行動につながったりと、ビジネスチャンスが格段に広がるのです。
そんなビッグデータは、よく「ビッグデータは宝の山」といいます。なぜ、ビッグデータは宝の山なのでしょうか。実はビッグデータには、例えば、天文学や素粒子物理学などの学問での利用はもちろんなのこと、自動運転、SNS、インターネット検索、天気予報、医療、オンライン通販、電子決済、そして、軍事などで絶大な威力を発揮するとのこと。目的を持って使えば、ビッグデータは大きな可能性を秘めているといえるかもしれません。
そこで今回は、ビッグデータの本当の姿を過去に遡って明らかにし、ビッグデータの活用によりもたらされる将来像をも視野に入れてビッグデータがなぜ、必須の存在となったのかを紐解きます。
ビッグデータの定義とは
ビッグデータにこれといった正確な定義があるわけではありません。しかし、古くは紀元前のローマ帝国が国内の実情を把握し統治のために行っていた人口や土地の調査はビッグデータの原点です。それは国がある目的を有して行い、そして、得られた大量のデータだからです。ただ漫然と大量のデータがあるだけではビッグデータとはいえません。このようにある目的をもって大量のデータが集められ、それを活用することで初めてビッグデータといえるのです。
ローマ帝国の調査をビッグデータの根源とすると、現在に繋がるものは統計学的手法が取り入れられた中世以降となります。中でも画期的だったのが1890年に行われたアメリカの国勢調査。この時に集計・解析は人の手から離れて機械が集計・解析を行うことが初めて実施されました。このシステムは手作業では集計に7年かかっていたものが18か月で集計作業が終わるという画期的なものだったのです。
その後、1960年代にコンピュータが普及し始めると国勢調査のデータ解析はプログラミングを組むことで行われ、更に大量のデータ処理が行えるようになりました。そして、1970～1980年代に民間も含めて更にコンピュータが普及すると業務で処理するデータは更に膨れて行き、それらのデータを管理するデータベースが現われます。
しかし、1960～2000年は、コンピュータは飛躍的に性能が向上しましたが、データの量は急増するには至りませんでした。それが変わったのが2000年。2000年以降、インターネットの普及に伴い、個人の様々なデータの蓄積はもちろんのこと、企業もインターネットを活用するようになり、データの蓄積は飛躍的に増え、莫大なデータを扱う技術が必要になってきたのです。この莫大なデータは、もちろんビッグデータに当たります。
そして、ビックデータには4つ、または5つのVが大切といわれています。データの量(Volume)、データの種類(Variety)、データの発生頻度・更新頻度(Velocity)、そして、データの価値(Value)です。これはアメリカのIT調査会社ガートナー社でビッグデータを特徴付ける要素としてあげたものがこの4つのVなのです。現在は、データの正確さ(Veracity)も加えて5つとすることも多々あります。なぜこの4つ、または5つのVが重要かといいますと、ビッグデータを解析するときにこのVが非常に重要だから。分析・解析されたビッグデータほど活用価値があり、4つ、または5つのVがビッグデータの価値を決めるとも言えます。
ビッグデータが注目されるようになった理由
ビッグデータが注目されるようになった要因には2つあるといわれているといわれています。
1つ目の要因としてSNSの普及で日々、莫大なデータが蓄積されることになったためです。今、SNSはTwitter、Facebook、Instagram、LINEが有名ですが、例えばTwitterのツイートでトレンドがリアルタイムで分かります。そうすると、投稿数やハッシュタグなどの分析により、今現在、人々が何に関心を持っているのか一目瞭然ですよね。それをマーケティングに活用すれば、売り上げ向上に直結しますし、競合他社の情報もツイートの分析で分かりますので、Twitterはマーケティングのツールとして必須になっています。
2つ目の要因として「Hadoop」のような莫大なデータを蓄積し、処理・解析するオープンソースソフトウエアのフレームワークが開発されたことで、安価にビックデータを扱えることになったためです。その他に「Spark」というフレームワークがあり、こちらは「Hadoop」の100倍くらいの処理能力があり、リアルタイム処理が可能です。
ビッグデータの活用例
では、実際にビッグデータを活用している例を説明しましょう。
ダイドードリンコ
ダイドードリンコは自動販売機での売り上げ向上を目的にビッグデータを活用しました。
ダイドードリンコでは、自動販売機にアイトラッキングを取り付けて購買者の視線を調査しました。すると、これまで、購買者は左上からZの流れで視線が動くと思われていた常識が違うことが分かったのです。ビッグデータの解析の結果、購買者の視線は一番下の段に集まると判明。このことより、主力商品を一番下の段に並べたところ、売り上げが前年比1.2％増加しました。
スシロー
回転寿司のスシローでは全ての寿司皿にICタグを付けて、レーンに流れる寿司の鮮度や売り上げ状況を管理しています。どこのお店でいつどんな寿司が流されいつ寿司が食べられたか、どのテーブルでいつどんな寿司が注文されたかなど莫大なデータを蓄積・分析して、需要を予測しレーンに流す寿司のネタや量を調節しています。このことより、機会の獲得や無駄の削減に直結しています。
楽天
Amazonに代表されるレコメンド機能を活用するだけで売り上げが30％増加するといわれていますが、楽天では、レコメンド機能だけではAmazonに勝てないので、更新頻度の短縮とジャンルの細分化を行うことで大きな成果をもぎ取りました。これはビッグデータを分析することで分かった、ランキング頻度が高いほど、そして、ジャンルが細分化しているほど売り上げが増加するという分析結果によるものです。
その他にもビッグデータが気付かないところで活用されている例はたくさんあります。
ビッグデータとAI（人工知能）の関係性
ビッグデータによってAI（人工知能）は必須の存在となっています。既に毎日蓄積される膨大なデータ群は人間の処理能力を超えています。そのビッグデータを処理・解析するのにAI（人工知能）で処理することで
- ビッグデータの分析の効率化
- 生産性の向上
- 精度の向上
- 人材不足の解消
- 人件費や管理費等のコストの削減
が可能になりました。
また、インターネットの普及や自然言語処理(NLP)の技術の向上により、ビジネスに必要なデータをビッグデータから抽出・分析ができるようになりました。多数の企業でAI(人工知能)が導入され、さらにビッグデータが注目を集めることになります。
今後のビッグデータの活用像
今後のビッグデータの活用像はますますAI（人工知能）での解析が進み、日常生活のあらゆるところでビッグデータは価値を見出し、浸透するでしょう。顔認証システム、株式の取引、自動運転技術、人混みの混雑具合、AI（人工知能）を搭載したロボットなど、生活のあらゆる局面でのビックデータの活用は深まり、必須の存在として私たちの生活を劇的に変えること間違いありません。
特に顔認証システムは防犯はもちろんのこと、入国審査など身分証明をする場面ではほとんど使われていますよね。例えば時々刻々とデータが蓄積されて行く防犯カメラのデータから法を犯したものを見出すことは簡単です。また、事件の様子を捉えた防犯カメラから犯人を特定するのにも役立っています。
※顔認証について知りたい方はこちら
さて、今回はビッグデータについて紐解きました。
まず、ビッグデータとはこれまでのソフトウエアでは処理不可能なほど種々雑多な膨大なデータ群のことでした。それがオープンソフトウエアの成熟で分析可能となり、膨大なデータ群が活用できることなったためにビジネスに直結するようになりました。
ビッグデータの歴史の期限は紀元前の古代ローマ帝国の人口や土地を調査した国勢調査に遡ります。
アメリカのIT調査会社ガードナー社がビッグデータを特徴付ける5つのVを定義づけています。
- データの量(Volume)
- データの種類(Variety)
- データの発生頻度・更新頻度(Velocity)
- データの価値(Value)
- データの正確さ(Veracity)
ビッグデータが注目される理由は、それまで国勢調査ではコンピュータで集計・分析していたものが、コンピュータが民間企業に普及したこと、「Hadoop」や「Spark」などのオープンソフトウエアのフレームワークが成熟したことが理由です。ビッグデータの活用例ではダイドードリンコとスシローと楽天の活用例を取り上げました。
ビッグデータとAI（人工知能）の関係性では時々刻々膨大なデータが蓄積されゆく現在、人間の判断ではもう遅く、AI（人工知能）の瞬時の判断によりビッグデータを活用せざるを得ない状況となったのです。今後のビッグデータの活用像ではビッグデータの解析には必須となったともいえるAI（人工知能）が膨大なデータを処理することで様々な分野で使われるでしょう。
ビッグデータを活用した恩恵は日常生活のあらゆる局面で享受しています。将来を見据えると、ビッグデータは更に私たちの日常生活に密接に結びつくに違いありません。
