报告摘要
BI商业智能的核心在于体现决策价值
• 企业数字化转型的本质是经验驱动决策向数据驱动决策的转变。
• BI平台成为数据产生价值的主要方式。以BI建设为中心的数据中台服务,逐渐成为海量数据处理与分析的核心平台。
• 在企业中提供更深刻的业务洞察力,是管理层依赖BI平台进行决策的基础。
• BI业务的发展使得业务人员进行数据分析的门槛大幅降低。
向数据和分析两端发展 一体化平台成为趋势
• 企业不再满足于一般的报表与敏捷式仪表盘,企业的BI需求变得更加灵活和高效。以云BI平台为基础的一站式大数据平台,成为新的趋势。
• 在数据管理方面,现代BI平台既需要利用传统BI的数仓资产,还需具有更强数据源管理能力和深度分析功能。
• 在易用性方面,增强分析技术、语义搜索与嵌入式分析技术将大幅降低现代BI平台的使用门槛。
技术平台更加灵活 场景融合成为关键
• 随着微服务架构及容器技术的发展,更多的BI一体化云平台采用松耦合架构,基础平台具有更好的灵活性和业务适应性。
• BI系统在实施过程中,需要深入挖掘企业需求,重新梳理企业管理方法、流程和管理体系,这个过程技术平台与垂直行业场景的融合成为关键。
目录
一. BI商业智能行业概览
二. BI商业智能的价值
三. BI商业智能的重要应用场景分析
四. BI市场规模测算与分析
五. BI商业智能的未来趋势
六. BI商业智能厂商竞争分析及典型厂商介绍
结语
一、商业智能行业概览
2019年,国际商业智能行业格局巨变。6月6日,Google以26亿美元现金收购商业情报软件和数据分析平台Looker;4天之后,更具爆炸性的新闻爆出,SaaS第一股Salesforce以157亿美元的价格收购BI领导者Tableau,成为Salesforce历史上最大的一笔收购案。
国际巨头通过收购进行产业整合并不新鲜,但如此密集的BI类并购在历史上并不是首次,12年前就已经发生。2007年,Oracle33亿美元收购Hyperion,SAP 68亿美元收购Business Objects(BO),IBM 50亿美元收购Cognos。这不禁让人发问,IT巨头为何热衷于收购BI企业?
在互联网C端市场,流量入口始终是商家必争之地,而BI软件则是数据分析领域最重要的入口之一。BI与分析领域的产品和技术,是所有用户尤其是大客户的刚需。2019年,云计算进入2.0时代,大数据为BI提供了海量数据分析需求,业务复杂性和数据复杂性带来的双重挑战,成为新一轮BI并购潮主要推动力。
1.1 BI商业智能发展历程
BI(Business Intelligence, 商业智能或商务智能)源自企业对业务数据进行价值挖掘与展现的需求。1989年,BI概念由Howard Dresner定义而广泛传播,此时的BI定义为由数据仓库、查询报表、数据分析、数据挖掘和数据维护等部分功能组成,以帮助企业决策为目的的技术应用。
图1: 1968年-1989年传统BI企业成立时间轴
数据来源:爱分析
商业智能不仅是一种技术,更是一种企业集成数据解决方案。这包括了ETL(Extract-Transform-Load,抽取-转换-加载)、数据仓库、DM(DataMining,数据挖掘)、OLAP、数据可视化等多种工具。1968年到1989年,传统BI的厂商如Cognos、SAP、Oracle、Teradata、MicroStrategy等陆续成立。
2013年之前,传统BI产品一直是市场的主流,但这并不是一个很好的市场。根据IBM的统计数据,实施传统BI的项目失败率在60%-70%,大量的BI系统并没有得到有效的使用。传统BI产品,通常只能由技术人员在设计好的维度模型上建立数据仓库。这造成了两个问题,技术人员难以完全理解业务人员的需求,数据仓库不能满足不断变化的业务需要。
敏捷BI为了解决上述两个问题而出现。敏捷BI,又称自助式BI,是指由业务人员自助式建模,能够实现快速部署、数据源集成、高性能计算、探索式分析的BI可视化产品。由于业务人员自行建模,摆脱了数据无法体现业务需求,技术人员不懂业务需求的困境。让数据直接反映业务,成为敏捷BI的一大特点,典型的敏捷BI厂商有Tableau、永洪科技等。
表1: 传统BI产品与敏捷BI产品
数据来源:爱分析搜集
1.2 BI商业智能技术架构和演进路线分析
传统BI商业智能体系结构主要由数据源、数据存储与管理、OLAP引擎和前端工具组成。数据仓库、数据集市与OLAP引擎是传统BI体系的核心。传统BI技术体系对海量数据计算与动态业务的支持均不足,系统搭建、建模过程均需技术人员完成。
BI商业智能从传统BI阶段向敏捷BI的发展过程中,数据源与数据管理、增强性分析、交互易用性,是BI技术架构快速演变的主要方向。具体表现为传统数仓向海量混合存储与高效治理演进、离线数据分析向增强性实时分析演进、静态报表向自助图表和智能交互演进。
图2: 传统BI的体系结构
数据来源:爱分析搜集
1.2.1 传统数仓向海量混合存储与高效治理演进
传统数据仓库和OLAP引擎不适用于当今BI业务对数据存储和查询效率的需求。随着业务数据的快速增长,传统不的数据仓库不能满足存储和计算的需求。一方面数据ETL的效率快速下降,原本在一个小时内可以准备好的数据通常延迟到一天后才能进行分析;另一方面数据查询效率快速下降,实现秒级的查询变得越来越困难。
MPP或大数据平台成为应对海量数据的主要解决方案。MPP(Massively Parallel Processing,大规模并行处理系统)不同于事务处理数据库,更适于OLAP场景。采用MPP方案的典型案例是领先的数据仓库企业Teradata,其在1990年就发布了第一款MPP数据库产品,目前MPP架构仍是处理高质量结构化关系型数据的首选方案。国产BI软件中,永洪科技数据集市产品同样采用了MPP架构。
Hadoop经过几年的高速发展,近两年虽略显疲软,但仍是主流的大数据平台。Spark、Flink等分布式计算引擎与分布式数据库、分布式存储等新兴技术快速补足大数据平台生态的缺口。目前,大数据平台已经能够适用结构化、半结构化和非结构化数据处理,目前敏捷型BI产品一般都具有Hive、Spark SQL等大数据平台查询接口。
动态的业务需求对BI商业智能数据治理的要求更加严格。传统BI成功的关键在于元数据的良好定义,元数据一旦定义,修改成本将十分高昂,但由于技术人员有限的业务理解和多变的业务形态,良好的元数据定义通常难以实现。数据治理即为了解决元数据标准不统一,数据质量管控、数据集成效率低等问题出现相关工具和方法。IBM、Qlik等BI企业都已在其产品提供或者加强了数据治理功能。
1.2.2 离线数据分析向增强性实时分析演进
传统BI的离线数据分析难以满足实时/准实时需求。通常当天业务结束后,BI系统进行统一的查询、计算、分析和展现。客户不能实时获取当天的分析结果,难以满足快消、物流、航空等实效性要求较高的业务对BI的需求。
实时/准实时BI分析目的是实现秒级的查询响应。目前,实时BI产品有三个发展方向,采用MPP/大数据架构(Presto/Impala/SparkSQL/Drill)优化查询性能、采用分布式搜索引擎架构(Elasticsearch、Solr)和预计算分布式OLAP引擎(Druid/Kylin)。
上述三种方案,采用了内存计算、并行计算、分布式计算和分布式通信等多种方式提高响应速度,除此之外现有的BI厂商还通过库内计算技术,将开销大的计算直接在数据存储的地方计算,大大减少了数据移动,降低了通讯负担,提高的数据分析性。
除实时性要求外,随着AI技术的快速发展,利用自然语言处理与机器学习技术进行增强性分析成为BI系统的刚需。微软、Tableau、ThoughtSpot、MicroStrategy都推出了相关产品。未来,数据预测和数据挖掘的将变得更加智能,自动化的数据准备、基于模型的扩展分析、预测式分析等增强分析技术将成为主流。
1.2.3 静态报表式表现向自助图表和智能交互演进
传统BI的前端为静态类报表,业务人员不能直接调整报表;业务需求变更时,需由技术人员配合变更。在部分场景下,如月度财务会计场景,这类静态报表在效率和准确性上具有优势,但在动态业务场景下,静态报表已经不能满足现代企业对数据分析的需求。
敏捷BI为业务人员提供探索式分析与自助图表工具。在已有的数据指标和维度不能够满足业务分析的需求,传统BI往往无能为力;而业务人员使用敏捷BI,可以通过拖拽的方式,自定义新的指标和维度,进行探索式分析。这一过程不需要技术人员长期参与,大大缩短了业务人员与数据之间的距离。在海量存储和高效查询的技术支撑下,敏捷BI可以利用自助图表实时展现自定义指标,从而快速满足业务需求。
由智能问答技术支撑的智能交互成为新的BI表现形式。无论是传统BI还是敏捷BI都在往智能化BI的方向发展。利用自然语言理解进行自然语句查询、利用知识图谱实现业务预警、利用专家系统提供业务咨询成为商务智能新的发展方向。
除自助式表现与智能交互成为新的BI表现形式外,嵌入式分析也成为主要发展方向。利用嵌入式分析,不同的系统的相关报告可以实时整合到一个图表,从而形式上避免了数据孤岛的产生。
1.3 BI商业智能的业务流程及主要商业模式
1.3.1 业务流程
BI商业智能的业务流程从传统BI和敏捷BI两个角度,可分为两种。两种BI业务流程在适用场景、部署方式、部署/使用成本上都各有不同。
传统BI业务流程,分为业务需求定义、BI平台建立与部署、BI使用及维护三步,其中BI平台建立及部署又可分为建立数仓模型、数据抽取-转换-加载、构建分析主题以及分析报表和仪表盘制作。在传统BI业务流程中,BI平台的使用和业务需求的定义主要由业务人员完成,而BI平台的构建与部署主要由技术人员完成。
图3: 传统BI业务流程
数据来源:爱分析
传统BI业务流程经过长时间检验,具有成熟的建模方法,能够很好的整合业务数据。建立数仓的过程通常也是企业业务流程梳理和数据价值提炼过程,因此,从数据仓库中获取的数据通常是精炼有序的业务数据。
同时,传统BI的构建过程十分复杂,因此业务需求方、使用方与平台的构建方是分离的。因此造成传统BI流程,部署成本高、部署周期长、业务需求与平台功能不一致、报表刚性难以调整,业务人员难以根据需要制作报表、IT部门负担重等缺点。
因此传统BI流程适用于基础性、大容量,需求和数据框架稳定的数据分析业务。
敏捷BI业务流程,通过敏捷型的BI工具或者平台实现的。在敏捷BI业务流程中,技术实现与业务分析实现了分离,因此敏捷BI业务流程中主要以业务人员自助式实现数据源连接、指标集定义、探索式分析和自助的报表制作和仪表盘展示。
图4: 敏捷BI业务流程
数据来源:永洪科技
实时性作为物流BI系统的核心能力,其快速响应时间通常在10S以内,可实现全量数据联动分析。通过BI的可视化能力,其不仅对外部客户提供更好的可视化感知服务,也可对内加强运输配送环节的安全管控。
5.4 BI商业智能与垂直场景融合,更加贴近客户场景诉求
BI作为企业决策解决方案,熟悉企业业务是必要环节。BI系统在实施过程中,需要重新梳理企业管理方法、流程、体系,并得到管理层、中层和业务层的支持,深入挖掘企业需求,有时还需要IT咨询人员介入,才能制定有效的BI实施方案。在这个过程中,通过BI系统实现智能运维,是垂直行业场景融合的关键。
底层获取数据能力增强,加速了BI与垂直场景融合。随着大数据技术与物联网技术的发展,现代BI可以实时获取生产数据或者经营数据。这类直接获得的数据更多与垂直场景相关,如广告中利用精准营销进行获客引流,供应链管理中利用物联网获得的进出场信息获取仓储管理情况,越来越多的行业属性信息,加速了BI与垂直场景融合。
自助式分析、增强分析的BI方案落地依赖于对垂直场景的深刻理解。通用的BI产品通常不能直接解决业务分析的需求,只有依据业务场景,确定问题边界,才能选择合适的模型和算法,使用增强分析技术,才能制定有效的BI实施方案。例如,交通出行场景,除获取相关的业务数据外,BI系统还必须选择合适的人工智能或者运筹学模型,才能计算相关的最短路程与出行时间。
云BI的快速发展,BI的客户场景通过SaaS快速实现。BI云化后,BI产品的应用和部署将变得更加便捷,客户将按照业务场景选择BI服务,而不是简单的选用BI的通用型服务。简单的如营销过程的用户画像、教育行业的教育评测、征信服务的征信评价均可以通过SaaS服务方式提供给客户。而附加的行业解决方案,正成为现代BI着重开发的要点。
六、BI商业智能厂商竞争分析及典型厂商介绍
6.1 BI商业智能厂商核心竞争力分析
爱分析认为,技术、产品、获客、客群/LTV、场景理解能力五个方面,体现了BI厂商的核心竞争力,这五个方面通过影响客单价和客户数量,对整体收入和利润产生影响。
图25: BI商业智能厂商核心竞争力分析模型
数据来源:爱分析
技术了决定了厂商开拓新业务能力,影响解决客户需求的复杂度,进而影响客单价。在领导者和远见者象限中的厂商,除了本身扎实的技术基础外,在市场前沿技术方面都各具特色。例如微软、Tableau都推出了广受欢迎的自然语言处理和自动化数据准备功能;ThoughtSpot、MicroStrategy则具备市场领先的增强分析功能;Qlik、TIBCO、Sisense在数据管理、混合数据集成具备强有力的竞争优势。
产品与生态影响产品的规模化复制能力,产品/服务的易用性,以及业务发展对人力依赖,并直接影响毛利率空间。微软无疑在这方面具有最强大的实力,其传统BI产品、敏捷式的Power BI以及具有广泛用户基础的Access和Excel,以及强大的云端部署能力,构成了全链条、全网络的BI应用生态环境。Tableau则可以与Salesforce的SaaS构成生态协同,双雄组合即使是微软也需暂避锋芒。
客群则直接影响客单价以及市场空间。客户每年IT预算以及传统BI系统投入占比、产品客单价、所服务客群的同行业和跨行业之间的复制能力等因素都影响BI厂商的发展潜力。例如,Tableau客群大客户比例高于Qlik,增长潜力更大;而Looker的参考客户中,有36%分析的数据超过1tb,行表的中位数为5.85亿,在2018年的特殊领域象限中Looker获得显著提升。
获客则直接决定企业能够服务目标客群,影响成本结构中的销售费用占比。这一点上传统BI厂商如IBM、SAS、Oracle具有强大的渠道能力,但这部分厂商在面临转型的环节,在原有BI产品和新的发展趋势上难以取舍。而云服务兴起后,BI厂商大部分都推出了相应的SaaS服务,而在Salesforce与微软具有强大的云获客能力。
场景化理解则影响客单价以及客户黏性,对场景理解越深,壁垒越高,竞争越小,客单价越高。可以看到,2019年简单的BI产品已经不能满足行业客户的需要,同时还要匹配相应的行业人员,进行业务适配。
6.2 国内BI领域厂商竞争力分析
国内BI领域厂商参与者众多,但技术门槛不高,竞争非常激烈。国内BI市场基本分为三类,第一类为传统IT巨头,如IBM、SAP等;第二类为云计算厂商,如阿里云、百度云等;第三类为新型BI厂商,如永洪科技等企业。
从市场集中度看,国内BI市场集中度低,产品差异化不明显。从国外市场来看,Tableau在市场占有率达3-5%时,增速已然放缓,大幅提升市场份额较难;但2017年,Tableau云化后,又恢复超过30%的增速。
Tableau被SaaS鼻祖Salesforce收购后,市值暴涨超过70%,BI与云的结合成为主流。从这一趋势看,国内采用SaaS服务的一体化BI平台将会获得更加高速的发展。
传统IT巨头预计将逐步退出中国市场,国产场景受到政策扶持。受政策影响,IBM、SAP、Oracle等厂商会逐步退出部分中国市场,这也是国内厂商巨大机会。同时,从美国政府的实体禁运清单中看出,高级BI类产品属于被禁运产品之列,所以国内厂商受政治风波影响,尤其在公共服务领域,弯道超车的机会大增。
随着外退内进的发展,采用国外BI产品的国内厂商逐渐使用国产BI产品进行替代,典型的如美的集团采用永洪BI平台替代原有的Oracle BIEE平台产品。
互联网巨头将覆盖中小企业市场,通用型厂商空间有限,业务领域厂商将各具优势。通用型敏捷BI产品,将因技术壁垒低,快速失去竞争优势。同时,由于中小客群价格敏感,需求简单,通用产品即可满足,将成为互联网巨头目标客群,新兴创业公司在中小客户市场很难与之抗衡;而扎根行业、给传统大型企业提供深度行业解决方案的厂商,才有立足之地和长远机会。
6.3 永洪科技
永洪科技成立于2012年,专注于为百亿级数据量的大型企业和各个垂直行业的中小企业提供灵活易用的大数据应用解决方案。其一站式大数据构建平台,可以帮助企业轻松构建数据应用。永洪科技是业内第一家用大数据技术去做数据分析平台建设的公司,这一点上处于国内外领先水平。
通过提供精细化本地实施、完善的咨询服务、成熟的客户成功体系和数据化运营最佳实践的积累,永洪的项目的成功率达95%,这一点远高一般企业不到50%的成功率。
永洪科技的BI包括Yonghong Z-SuiteX-Suite及其SaaS服务,垂直应用与行业解决解决方案,并且能够提供数据资讯、数据治理、项目实施及开发服务。与国外厂商更多将BI产品定位部门级产品不同,永洪科技则背道而驰,不断扩张自己的产品线,将产品做得越来越厚。永洪科技从产品深度和广度两个角度加强数据分析能力,使得产品线具备了全面的一站式数据分析平台能力。
图26: 永洪科技BI产品与服务结构
数据来源:永洪科技&爱分析
永洪科技利用其高性能计算引擎Z-Data Mart,利用列存储、库内计算、内存计算、分布式计算以及分布式通讯技术,可以实现百亿级数据秒级计算。强化数据处理能力,使得BI产品所能处理的数据量更大,由部门级产品转向企业级产品,能够支持更大数据量、更多应用场景,实现增强式自助式分析。
其深度分析引擎Z-Advanced Analytics,连通探索式分析和深度分析,提供一站式数据分析洞察能力。在深度分析引擎内部,封装了机器学习等AI算法,拥有可视化工作流。可将探索式分析查询数据作为深度分析的输入,深度分析结果可以直接通过可视化进行展示,形成业务闭环。
深度分析引擎将自助式分析,升级为自助探索式分析。一方面业务人员可以直接使用平台上现成场景模板进行分析,另一方面数据科学家可以基于平台上的算法自己开发模型。
永洪科技并非只是BI产品提供商,其前期以咨询方式切入大客户,做好顶层设计,然后根据项目需要给企业配置合适的应用解决方案,在这个过程中永洪科技也实现了多个行业解决方案的积累。永洪科技认为BI厂商在平台应用成熟之后,可以将平台积累的成熟行业解决方案出售给客户或者通过合作伙伴渠道出售给有此需求的企业。
永洪科技通过两年时间打磨出国内首个“行业专家团队”,实现差异化的行业、企业、业务场景下的整体解决方案,实现从“数据咨询->实施服务->客户成功->数据分析课程培训”全程服务体系,全方位赋能客户,帮助企业实现数据驱动业务增长。
6.4 Tableau
Tableau成立2003年,2013年登录纽交所,目前市值接近150亿美元。
Tableau是一款敏捷型BI产品,可以使用Tableau便捷的连接不同的数据源,进行探索式、自助式数据查询。截止2019年,Tableau已经连续7年处于Gartner 商业智能和分析平台的魔力象限领导者地位,并具有极强的客户满意度。
Tableau除具备高客户满意度外,还有以下几点优势:产品定位精准,技术方向引领行业发展;具有很高的易用性;成功建立了超过100万的活跃社区。Tableau在2017年收购ClearGraph,并将自然语言查询带入BI领域,2019年其自然语言查询功能正式推出后,大受客户欢迎。
Tableau有五大产品系列:Tableau Desktop、Tableau Server、Tableau Online、Tableau Public以及Vizable,这些产品都是为了解决一个问题:数据可视化,仅通过提供服务的方式进行区别。
90%的Tableau产品都是买断式的,客户可以永久使用,只有很少一部分是按年付费使用。这一点上,大大提高了Tableau的客户满意度。虽然看似一次性买断,会对Tableau的营收造成影响,其实不然,Tableau在上市之后仍然保持了较高的营收增速,近三年平均营收增速达到21%。
Tableau的强劲增长正通过其后续的服务能力体现,包括产品的更新迭代以及技术人员为客户解答各类问题。第一年的服务费包含在产品里面,从第二年开始要收取一定比例的费用,这个比例与产品价格和服务等级有关。最高服务等级是配备专线电话,7天24小时有人接听。经过多年发展,Tableau客户每年的服务费大概为产品费用的50%。
2019年6月,Tableau被Salesforce收购。Salesforce与Tableau业务协同性与互补性很强:Salesforce具有完善的SaaS服务生态,擅长管理客户关系,提升业务质量,而Tableau则擅长于通过对数据的分析,让企业更好地发掘市场机会并作出相应决策。可以看到,两者在客群上有很大重叠。
Tableau与Salesforce的联姻另一方面可以看成两家厂商应对微软的一种策略。早在2017年,微软已经在魔力象限中超越Tableau。微软的BI堆栈对于两者都具备无可比拟的优势,两者结合后,Tableau快速融入Salesforce生态,而Salesforce则可以借助Tableau摆脱对Oracle的依赖,提高自身的数据分析能力,相得益彰。
结语
BI是数据实现价值的窗口。无论是数据仓库还是敏捷式BI,都是使得数据分析变得越来越简单、数据价值体现越来越直观。从这个意义上看,BI的本质是整个数据分析乃至大数据领域的入口。所以Salesforce和微软要牢牢把握住这个入口。
从发展趋势看,BI分别向数据端及分析端延伸。在数据量越来越多的情况下,数据管理会变得越来越容易;而通过自然语言理解和深度分析技术,前端的数据分析工作也将会越来越容易使用。利用语音或者文字进行交互式分析,将成为BI发展的主流方向,并最终大幅超过现有BI的应用范围。
在未来,能够与业务场景深度融合的BI产品将更具备竞争力。在工业互联网蓬勃发展的当今,业务核心系统的发展仍然较为缓慢,但BI作为辅助运营决策的主要方式,正在发挥越来越重要的作用。而对于业务系统的理解,将成为现有BI企业的巨大财富,并在未来竞争中构建竞争壁垒。