大数据技术在金融行业有哪些应用前景?

大数据技术在金融行业有哪些应用前景?

看到@泛景的答案被推荐上知乎日报。大数据,金融,热门,又好拿funding,前景很好。但是我认为任何一个新兴事物都需要一些不同的看法,才能更好的推动他的发展。那么我就针对这篇文章提出一些不同的看法。

当然我不是质疑文章的质量,

这篇文章作为大数据应用于金融的先驱者之一,具有重要的开拓意义。文章中预测结果,从数据上看是很惊人的(86.7%的准确率)。2014年的global derivatives也看到有数据商推销类似产品。

有幸在2014年初在伦敦听到文章作者的演讲。当时也提出了一些问题。下面就是一些疑问:

1. 文章所用的数据覆盖的时间段过于特殊,86.7%的准确率或许并有看上去那么惊人。文章用的数据是08年2月28号到12月19号。这是一段非常特殊的时期(金融危机):

- 这段时间金融市场有明显的trend。

基于9 week - KDJ分段来预测每日股票涨跌,也能够成功预测将近6成。

而这样的预测没有经过任何的fine tuning。也就是说,如果把KDJ和其他技术指标神马放进ANN之类,在这样一段特殊的数据中跑出比较好的预测成功率的可能性还是很大的。

- 投资者情绪,特别是重大金融事件发生之后,也相对明显。基于这些新闻点,应该可以取得不错的预测准确率:

以雷曼宣布破产(9月15号)为例,其后的23个交易日,有16个交易日DJIA是负回报率。

2. 还是预测问题:会不会存在over fitting 的问题?会不会是data snooping?

我们不讨论有效市场假说(EMH),以近期另外一篇文章(bitcoin and bayesian regression)

为例,文章用一众technical indicators输入Bayesian Regression,也对bitcoin走势取得很好的预测效果。而technical indicators是基于股市公开的past information.

3. Twitter Mood是在一定程度上可被操纵的。这个proxy预测效果会持续吗?

比如这个知乎问答:

就像浩如烟海的金融文献中很多过去被经济学家们发现的pattern现在都不复存在了。如果某些指标确实很好的预测市场,那么投资者就会利用这些信息。市场也可能会逐步适应。

好像有人用这个Twitter 预测的策略在伦敦成立的一家hedge fund (也是11年左右),不过貌似很快改卖数据和服务。很可能基于这些考量,对该策略长期盈利能力的不确定吧。

未来Twitter Mood这样的指标未必为成为很好的预测工具(forward-looking),但是或许会是投资者情绪很好的测度(current measure)。