何为大数据
按照现在较为普遍的定义,大数据是诞生于各类终端中产生的庞大的分结构化数据,而拥有存储、分析该数据的能力就是大数据技术。
根据IDC的定义,高容量、多样化、持续性和高价值是大数据的四个特点,包括基础架构、数据管理、分析挖掘和决策支持四个层面。
物联网、云计算、PC、平板电脑、传感器都是这些数据的来源。如果说云计算等布局首先是满足数据的收集,那大数据技术就等于是数据分析能力的升级。
这个最早从麦肯锡报告出现的词汇变得非常热门。IDC预测,到2015年,全球大数据市场将达到170亿美元规模。
大数据技术探索实例
中国联通就在使用大数据技术。据中国联通研究院副院长黄文良介绍,联通部署了一套Hadoop系统的大数据平台,可以实现用户查询自己的3G流量使用情况。
随着3G用户的增加,智能手机可能出现各类大流量,而用户并不清楚自己的流量去处,存在很多投诉,联通这个平台就是统计3G流量列表的一个尝试。
据他介绍,支持用户查询3G上网记录需要大量的数据,而用传统的数据库无法满足百亿条数据的快速搜索能力,这一套新的平台就是研究院的一个尝试。
该系统部署在北京,用了178台基于英特尔处理器的刀片服务器,每台配了14TB的内存,加上Name节点,然后用Hadoop发行版实现了对数据的管理。
该系统可以让联通用户随时查清每天的流量情况,包括使用位置、3G还是2G,起始时间等。
另一个开始用大数据技术的是国内安防类领头企业海康威视。海康威视副总裁兼CTO蒋海清介绍,目前全国在部署平安城市的应用,而城市视频监控的记录都是海量的存储,而大数据平台实现了智能化监控。
据介绍,海康威视开发的城市智能交通应用典型解决方案,一个城市为例,年过车信息数据达到百亿级,从信息中提取车牌、车身颜色,就可以很快查出车牌、号码、轨迹、违章等,而接下来的关联分析就是基于大数据的基础展开。
海康威视还在尝试做面向公众的视频监控服务,出现报警情况就可以用手机通知业主,而平台会判断是否为误判,这样大基数数据的使用就需要新的技术。
另外还有北京亿赞普这样的企业,这家企业为全国各类实业企业提供工厂直接传递到用户的信息平台,使厂商可以通过碎片化的信息分析目标市场。
大数据并不是一个全新的技术,但从目前的尝试来看,大数据技术还只是开始实现数据的存储和管理,深入分析能力还达不到行业的预期。
IDC对大数据的十大预测
IDC对大数据未来的发展做出了十大预测,也代表了行业对大数据热点的预期。
预测包括:一、走向商业化;二、部分早期的Hadoop项目面临挑战;三、开源软件带来机遇;四、大数据加剧软件公司间的并购;五、针对大数据的Appliance市场迅速增长;六、大数据的网络数据处理走向企业级;七、大数据催生更多细分市场;八、打包的大数据行业分析应用出现;九、基础架构向Scale Out发展;十、中国成全球最重要的大数据市场。
IDC预测,大数据发展最快的首先是软件行业,而基于开源平台的分析类应用软件将快速发展。有能找到合适的需求而很快做出预期性能的企业将出现并购能力。
IDC中国企业级系统与软件研究部高级研究经理周震刚还认为,中国将成为全球最重要的大数据市场,而中国企业在其中有着巨大的发展机会。
全球性IT巨头都开始关注大数据的机遇,IBM、微软、英特尔、甲骨文等都在开发基于大数据需求的IT架构,而其中硬件提供商有更大的市场动力,因为大数据的应用都意味着更多的IT采购。
发展契机是应用本身的进步
虽然有巨头的跃跃欲试,但真正符合大数据预期的仍是以应用为主。微博和Facebook时代的到来可以说为大数据提供了最好的土壤。对于一个商业公司,一个能基于社交网络庞大信息库的消费者偏好分析系统的吸引力远大于一堆IT设备,而这样的应用才是大数据真正的吸引力。
和基于经验的传统决策不同,大数据时代的决策可以提供统计理论上的依据,而之前的行业经验也在被逐渐搬移到自己的大数据系统中。
英特尔软件与服务事业部中国区总经理何京翔认为,电信运营商利用大数据技术对用户的行为习惯进行分析,就能更有针对性地制订市场营销计划或开发出更多全新的商业模式和服务;金融行业能借该技术更快速地分析在金融机构之间交换的营销与交易数据,以确保交易的安全可靠和防欺诈;智能城市及物联网领域则可借大数据技术更快实现智能交通监控、智能公共安全、气象和污染变化的智能监控及预测等应用。
而这些应用对软件企业意味着巨大的机遇。因为它们都是行业应用或定制化应用,目前还没有一个通用产品能实现这一切。分析认为,随着企业的投入,新的行业领先者将开始诞生。