IT运维管理,创造商业价值!
中国IT运维网首页 | 资讯中心 | 运维管理 | 信息安全 | CIO视界 | 云计算 | 最佳案例 | 运维资源 | 专题策划 | 知识库 | 论坛

大数据开拓者 带给人的10大启示【组图】(2)

2011年11月23日
中关村电脑/范平

二、衡量数据增长时深知何为贵

  通过对长达20年的医疗记录、研究各种药物的疗效和风险,哈佛医学院吸取到了这样一种教训--在规划数据仓储投资时,不仅仅需要解诸如客户、记录和交易数量等简单问题。虽然病人数量和时限仍然较为稳定,但各种医疗记录却不断丰富起来,因为涌现出了很多新的健康监测技术指标。因此,事先了解所有的动态需求至关重要。


大数据开拓者 带给人的10大启示[组图]
哈佛医学院

  三、数据压缩和削减存储成本

  更好的数据压缩可以节省每TB硬件成本。列存储数据库,比惠普的Vertica、Infobright、ParAccel和Sybase IQ,可以实现30:1或者40:1的压缩比。而行存储数据库,比如EMC Greenplum、IBM Netezza和Teradata,平均4:1的压缩比。这是因为柱状数据可以保持一致,包含邮编、采购订单号码等多种数据。而行状数据,比如与客户相关的属性组合--名称、地址、邮编、采购订单号等等,则不具有这种优势。Aster Data和甲骨文数据库可以提供混合行/列存储功能。甲骨文的Hybrid Columnar Compression可以提供10:1的压缩比。

大数据开拓者 带给人的10大启示[组图]
数据压缩

  压缩比率不同很大程度上取决于数据本身,而且列存储并不总是最好的选择。如果在数据查询的时候需要调用很大属性,行存储方案可能会表现出更好的性能。事实上,行存储数据库经常被企业应用在处理混合查询的数据仓库中,而列存储数据库更多的是集中在海量数据查询中。

  四、分类压缩、减少处理时间

  类似连续性的列数据有利于压缩一样,我们也可以通过数据加载之前进行分类从而提高压缩比。在将数据装载进Sybase IQ至 强,comSCore使用Syncsort DMExpress软件对数据进行分类。该公司的CTO Michael Brown(图示)表示,它可以将10字节的 数据压缩成3、4个字节,而通过分类后的10个字节数据可被压缩成1个字节。“这将给我们存储海量数据提供了另外一种方式 。”

大数据开拓者 带给人的10大启示[组图]
Michael Brown

  此外,分类也可以提高数据处理效率。comScore对URL数据进行分类,从而将Web站点分类查询工作量降到最低。无需加载40个网站页面的URL地址从而在单个会话中进行访问,而只需对它们进行分类就可以在Facebook上露出其中20个页面,GMail上露出12个,其他的则可能会出现在NYTimes.com上面。

  分类数据会触发仅仅3个站点查询,而未分类的数据则会引起多个毫不相关的数据查询。“它有助于节约CPU大部分资源和时间,”Brown说到。完全可以借助SQL语句和自编脚本对数据进行分类。不过,在IBM、甲骨文、SAP、SAS等数据集成软件中,数据分类也是一个常见功能。事实上,Hadoop是一个真正意义上的大规模数据分类和处理的良好选择。

发表评论请到:http://bbs.cnitom.com

相关阅读

图文热点

大数据的真相:是概念炒作还是数据革命?
大数据的真相:是概念炒作还是数据革命?在今天,围绕大数据的的话题每天不断地在轰炸着我们,大小厂商也在不遗余力地包装...
Gartner:企业加强大数据投资但是质疑回报
Gartner:企业加强大数据投资但是质疑回报据国外媒体报道,美国市场研究公司Gartner近日发布的研究报告显示,虽然全球范围...

本类热点