NewVantage Partners在去年夏季与来自50多家大型公司的高管(主要是首席数据官、首席信息官、首席技术官、首席分析官、首席信息架构师)、业务主管和高级程序员进行了研讨。在这些大型公司中,多数公司的员工数量都超过了30000人。在NewVantage Partners公司的调查中,有一半的受访者为来自金融服务公司的高管,另外一半的受访者为来自保险、政府机构以及其他行业的公司高管。
NewVantage Partners 创始人兼管理合伙人Paul Barth 称:“大多数公司每年在技术上的花费为10亿美元。他们通常都不会快速做出响应,但是一旦开始响应,他们将会为这些创新投入更多的财力和物力。”
利用大数据做出更明智的决策
这些大型公司看到了大数据的价值并开始将他们的资源投向大数据。Barth称,85%的受访者表示他们正在进行大数据创新。
他称:“75%的受访者每年在大数据上的投入超过了100万美元。25%的受访者每年在大数据上的投入超过了1000万美元。他们恪守将这一技术应用到一个项目或一系列项目的承诺。因为他们非常清楚,如果没有大数据,他们手中的项目将无法进行下去。”
大数据的真正价值在于提升了响应速度
受访者给出了许多他们投资大数据的原因,如降低风险、打造高质量产品和服务等。不过,排在首位的两个主要原因是:根据实际情况更快的做出决策和提升客户体验。当然,这也是他们投资传统商业智能分析的首要原因。Barth称,在进行深入调查时,NewVantage发现这些公司投资大数据的深层原因是希望提升决策或响应速度。
Barth 称:“如果你的响应速度在一个案例中是30分钟,在另一个案例中是30秒,那么这实际上将会改变你的业务流程。它们将让你成为一名效率极高的业务分析师。”
他表示,有了大数据技术,公司在几秒中内就能够回应遇到的问题,而不是花上几天甚至几个月的时间。反过来,这种提升能够让公司回应那些难以进行分析、开发测试和流程学习但又要快速适应市场、让复杂的工作流实现自动化的问题。
不过,要想充分利用响应时间缩短所带来的优势还需要一个严谨的流程。大数据与传统分析解决方案之间的关系应当定义清楚和从属关系明确,因为它们是制订流程的基础。
大数据、分析法与组织调整
报告指出“传统分析法与大数据之间的区别,以及它们在企业内部分别承担的组织责任在以前就已经展开了多次讨论。不过,调查显示传统分析法与大数据正变得越来越错综复杂。它们必须要协同工作才能发挥大数据的预期效果。未来,在IT部门和业务部门之间打破组织界限进行更为紧密的整合将成为公司制订成功的大数据策略的关键一步。”
报告称“数据管理和分析通常由公司中不同的部门负责。”“IT部门通常控制着数据,而分析则由公司中一个特殊的团队或部门负责。这完全违背了大数据的原则。调查显示,这些公司已经认识到进行紧密整合的必要性。65%的受访者认为,大数据是数据管理的主要部分。68%的受访者表示,大数据是高级分析工具的一部分。”
NewVantage总结认为,打破IT与业务部门之间的界限,将传统分析法与大数据进行整合是一次重大飞越,而这一飞越正是实现以大数据促进业务发展这一机构创新的一个早期关键性举措。
报告称“将实时完整的分析功能整合到业务和运营部门中能够让公司对关键的业务问题和挑战做出快速响应,从而为公司建立起竞争优势,帮助公司提升业绩。”
Barth 称:“根据数据和数据质量,我们将它们分为金银铜三个不同的等级。存储在数据仓库中的数据为金质数据。当你查询这些金质数据时,你知道这些数据已经被处理完毕。但是如果获取的数据为原始形式,并且在一周或一个月内才能够提供给我时,情况会是怎么样,如果你将所有的数据都放在一个地方,并且基本上没有对它们进行梳理,情况又会怎么样?在进行充分提炼之前这些数据非常有用。”
与传统的关系型数据库不同,大数据平台允许分析师有选择性地组织、清理和整合数据,忽视那些目前不是分析重点的记录和字段。这样可以摆脱数据仓库,避免将大量的精力放在了数据工程上。NewVantage指出,通过推迟整个数据工程,大数据平台在面向发现的分析过程中提升了响应速度,同时无需对那些无法提供价值的数据进行工程分析。
Barth称,这大数据平台变成了一个,而且是非常重要的一个数据生态圈。虽然这个生态圈是建立在已知的东西上面,但是这个生态圈的设计目的是不断从客户、市场、产品和风险中寻找新的洞察力。换句话说,就是通过“已经的”、健康的持续改良模式中寻找“新”的东西。