在Kaggle举办的一个有关汽车人身伤害责任险的“汽车索赔预测大赛”上,202个来自全球各地的大数据分析爱好者基于Allstate提供的过去三年的车型数据、汽车配置参数和人身伤害索赔历史数据,给出未来两年这些车型的索赔预测。这在场总奖金只有1万美元的竞赛中,优胜者给出的预测结果比赞助该赛事的汽车厂商的专业人士的预测结果准确性高340%。更准确的结果将有助于厂商改进其产品,并制定更有效的定价策略。
当大数据业余爱好者战胜大型汽车企业BI专家的时候,我们必须承认,“大数据”绝不是企业BI产品的新式宣传口号,而是一个拥有无限潜能的商业财富引擎,随着大数据相关算法、工具和技术的不断成熟,我们已经站到了一场断层式革命的边缘。大数据领域正呈现以下四大发展趋势:
一、计算资源的极大丰富。包括处理能力、带宽、存储、内存性能的提升和成本的降低已经来到了Autodesk首席执行官Carl Bass所称的“无限计算”的引爆临界点。
二、大数据资源极大丰富。众所周知,过去两年地球上新增的数据比过去人类产生的所有数据之和还多。搜索引擎、博客、社交媒体、移动设备、传感器都在喷涌数据。过去只有企业关系型数据库里才能见到的高价值数据如今已是“遍地黄金”。
三、大数据工具的不断发展。全球企业对Hadoop狂热追逐已经表明企业对大数据工具和软件的旺盛需求,这也会反过来推动大数据工具的高速发展(例如沃尔玛破天荒决定开源其大数据工具)。
四、机器学习的不断成熟。IBM的沃森电脑可以在智力抢答游戏中击败人类冠军,同样也可以用于识别信用欺诈和预测不同车型的人身伤害责任险索赔金额。