制约大数据发展的核心因素是什么?

制约大数据发展的核心因素是什么?

是数据本身。或者详细说:我们还不知道什么样的数据有价值。

假定我们现在有了一种方法,可以精确地监测一杯水里每个分子的运动状况。

每个监测装置秒钟产生一个字节的数据,那么一分钟下来,大约会产生个字节(大约400YB)的数据。这数据量够大吧?(参考:谷歌目前所有的存储器加起来也只是在EB和ZB之间,YB是ZB的1000倍,也就是说相当于一百万个谷歌所存储数据总量。)

然后,这么大的大数据有什么用呢?先假定我们的计算、存储、算法能力都足够,然后呢?如果现在的物理学理论没错的话,这么大的数据量应该是P用都没有的。

或者更简单一些,随便生成几百个ZB的随机数,用各种大数据算法来算算,能不能算出什么东西来?估计肯定可以,只是这些结果依然是P意义都没有。

(记得在一本股票分析的书里看到过:让读者试着用学过的其他分析法来分析一个为期六个月的股价图然后看看什么结果。最后又告诉读者这不过是某一地六个月之内气温的变化图而已。)

再来看一个大数据的经典例子:

某比萨店的电话铃响了,客服人员拿起电话。

客服:**比萨店,您好,请问有什么需要我为您服务?

顾客:你好,我想要......

客服:先生,请把您的AIC 会员卡号码告诉我。

顾客:135259XXXXXX 。

客服:陈先生,您好,您是住在 XX 街一号12 楼 1205室,您家电话是209XXXX 。对吗?

顾客:为什么你知道我的电话号码?

客服:陈先生,因为我们有 AIC 会员系统。

顾客:我想要海鲜比萨......

客服:陈先生,海鲜比萨不适合您。

顾客:为什么?

客服:根据您的医疗记录,您有高血压和胆固醇偏高。

顾客:那...... 你们有什么可以推荐的?

客服:您可以试试我们的低脂健康比萨

顾客:你怎么知道我会喜欢吃这种的?

客服:您上星期一在中央图书馆借了一本《低脂健康食谱》。

顾客:好...... 那我要一个家庭号特大比萨,要付多少钱?

客服:99元,这个足够您一家六口吃了,但是您母亲应该少吃,因为她上个月刚做了心脏搭桥手术,处在恢复期。

顾客:可以刷卡吗?

客服:陈先生,对不起,请您付现款,因为您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括房贷利息。

顾客:算了。你们直接把比萨送到我家吧,家里有现金。你们多久会送到?

客服:大约三十分钟,如果您不想等,可以自己骑车来?

顾客:什么?

客服:根据AICCRM 系统全球定位系统的实时自动跟踪系统的记录,目前您正骑着这辆车,离我们店并不远。

顾客:XXX......

客服:陈先生,请您说话小心点儿,您曾在 2004年4 月 1日用脏话侮辱警察,被判了10天拘役,罚款200 元。如果您不想重蹈覆辙,就请您礼貌回复。

顾客:那...... 算了,我什么都不要了,那份比萨也不要了!

客服:谢谢您的电话光临,下星期三是您太太的生日,你不想预订一份生日比萨吗?提前一周预订可以享受8 折优惠。

顾客:......

这里面的例子看似合理,其实仔细想一想就知道大多数都是扯淡:

客服:陈先生,海鲜比萨不适合您。

顾客:为什么?

客服:根据您的医疗记录,您有高血压和胆固醇偏高。

有高血压和胆固醇偏高的人我们都见过很多,因此不吃海鲜的有几个?

客服:您可以试试我们的低脂健康比萨

顾客:你怎么知道我会喜欢吃这种的?

客服:您上星期一在中央图书馆借了一本《低脂健康食谱》。

借过《运动减肥指南》然后很少去运动的人您见过好多,对吧?

顾客:可以刷卡吗?

客服:陈先生,对不起,请您付现款,因为您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括房贷利息。

顾客:算了。你们直接把比萨送到我家吧,家里有现金。你们多久会送到?

就算信用卡刷爆了,难道不可以刷银联卡或者刷老婆的卡?

客服:大约三十分钟,如果您不想等,可以自己骑车来?

顾客:什么?

客服:根据AICCRM 系统全球定位系统的实时自动跟踪系统的记录,目前您正骑着这辆车,离我们店并不远。

有了这么牛B的大数据系统,您怎么却算不准我骑着自行车是因为我家门口严重堵车,而我要尽快赶到客户那里去给他们解决故障?而订比萨的目的是因为我老婆病了没法做饭?

客服:谢谢您的电话光临,下星期三是您太太的生日,你不想预订一份生日比萨吗?提前一周预订可以享受8 折优惠。

顾客:......

顾客大约会说:“根据我们的BDPIM系统,您是本周第三千六百八十个以下周我太太生日为由向我推销东西的商家了,很遗憾我老婆既不喜欢吃比萨,也不喜欢喝咖啡,更不喜欢什么小玩具,她最爱吃的是我家门口的牛肉拉面。”

这个例子中堆砌了许多一厢情愿的“只要我知道了甲信息,马上就可以推断出乙行为”的想法,而实际上,人的行为是为很多因素所左右的,心理学试验了这么多年,越来越说明了人的决策和行为是复杂的,带有很强概率性的。指望做几个大数据分析就能左右人的行为,真的太拿衣服。

用数据挖掘来类比的话,就是你一定要知道哪里可能有矿,哪里可能有富矿,然后再谈怎么挖才有意义。而现在人们对于“哪里有矿”的问题还知之甚少,之所以全世界都在大数据里疯狂挖掘的原因只有一个:计算、存储、研究资源都过剩了,人们不知道该干点什么好,只好在一对对价值不大的垃圾堆中试图看看能不能翻出金戒指来。如果我们知道了三体人真的正在杀过来的话,估计所有不出几个月所有的计算、存储、研究等资源都会被抽调去设计新武器什么的,而再不会有人搞什么“大数据”。