继物联网、云计算之后,“大数据”已迅速成为近期市场争相传诵的热门科技概念。根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。从产业角度,常常把这些数据与采集它们的工具、平台、分析系统一起被称为 “大数据” 。
IDC认为,某项技术要想成为大数据技术,必须满足IBM所描述的三个 “V”:多样性(variety)、大容量(volume)和时效性高(velocity)。多样性是指数据应包含结构化的和非结构化的数据;大容量是指聚合在一起供分析的数据量必须是非常庞大的;时效性高则是指数据处理的速度必须很快。
在2011年,“大数据”的概念已经赚足了人气,IDC数字宇宙在今年6月的报告显示,全球数据量在2011年已达到1.8ZB,在过去5年里增加了5倍,而到2015年将达到近8ZB。
2010年以来,全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合,亦可见其对大数据的重视。其中最大的要数2011年8月惠普宣布的以103亿美元收购英国非结构化信息处理软件公司Autonomy,包括IBM、EMC、Teradata等公司也相继进行了数亿至几十亿美元的收购。
Hadoop被认为是应对大数据难题的利器
尽管限于产业链位置等原因,国内企业在大数据上的布局尚无法如此全面。但大规模数据处理的代表技术Hadoop被很多中国最大互联网公司所追捧,百度的搜索日志分析,腾讯、淘宝和支付宝的数据仓库都可以看到 Hadoop的身影。而Hadoop也被认为是应对大数据难题的利器。
展望2012年,大数据不会放缓增长的脚步,全球IT巨头通常也会走在技术发展的前沿方向。大数据的广阔市场空间,已吸引了众多全球IT巨头的青睐,包括惠普、IBM、微软、Oracle、SAP、Teradata都先后发布了重量级产品来应对大数据的挑战,几这些巨头几乎囊括了所有的服务器、数据库、存储设备、企业解决方案的主要提供商,足见大数据技术已成为各大IT巨头争夺的下一个制高点。