8th
言いたいことはわかる。世の中の無根拠な「ビッグデータ」翼賛のマスコミ記事に文句を言いたいと。
ただ、巨大データを手にしてから、大規模データ解析の手法を研究したり勉強したりするのじゃ遅すぎる。大規模解析に必要なディシプリンがあまりに大きいからだ。そして、巨大データが現実にそこかしこにでてきた状況なのに、日本のアカデミズムが何年も巨大データ解析に真剣に向き合わなかったことのイイワケとして「必要に迫られ」なかったから、というとしたら、それはどうかと思う。
もちろん、小規模のデータ解析もできないのに、大規模データ解析をやろうなんておこがましい、という態度は合意する。しかし、佐藤一郎氏のような情報学において指導的立場にいる人が「ビッグデータって必要に迫られてやること」と思っている時点で、かなり暗澹とした気分になったな。もしかしたら、この「ビッグデータって必要に迫られてやること」の自分の解釈が間違っているかもしれないが。
大規模データ解析に必要な知識はただ量が大きいデータ解析では全くないからだ。100TBのデータにもなるとデータが暴力になる。データをロードするにしてもサンプリングをするにしてもリグレッションをするにしても、何をやっても普通の手法では困難なのである。Hadoopを使えば、という意見もあるだろうが、あれは単にリポジトリと解析のためのビークルだけであって、データ解析の手法自体ではない。当たり前だが。その巨大データを解析する手法がまだ発達していないのだ。
マスコミの煽りを指摘するのは悪いこととは言わないが、それ以上に僕らは巨大データ解析にもっと真剣に向かわなければいけないと思う。その考えのうえで、もしかするとマスコミの煽りが役に立ち、その煽りで研究者が増え解析手法の研究や開発に予算がつくのなら、煽りも可となるのではないか。そんな風に僕は思ったな。
https://twitter.com/#!/ichiro_satoh/status/144560206548975618
