伴随数字技术的创新,以及商业市场环境及企业需求的变化,企业对于BI能力的要求也逐步提高。面向业务、为业务赋能,让业务能够自助式将其使用起来的现代BI应运而生。从传统BI到现代BI,是什么引导着BI向自助式的新形态发展?与传统BI相较,现代BI优势在何处?企业要如何选择合作伙伴构建自己的自助式BI能力?
10月25日-26日,「让业务用起来·观远数据2022智能决策峰会暨产品发布会」云上直播圆满举办!20位大咖齐聚,2天干货分享,20000+观众线上参会共享“数智盛宴”,与来自零售消费、金融、互联网、高科技10+行业的世界500强企业高管、先进企业业务与技术决策人、数字化实践先锋企业数据从业者、行业KOL一起,远望趋势,近探实践,榷论方法,深掘价值,共探“让业务用起来”的数智创新与增长路径。
波士顿咨询Platinion董事总经理陈果先生莅临云上直播,带来《通过组织发展,建立数据分析能力》主题分享,带领参会观众从权威机构视角,探寻BI发展趋势,剖析现代BI赋能业务价值,传递自助式BI平台搭建方法,为企业打造“让业务用起来”的自助式BI能力提供经验参考。
以下为波士顿咨询Platinion董事总经理陈果先生的演讲实录:
大家好,今天很高兴接受观远数据的邀请,又一次作为嘉宾跟大家共同分享关于“让业务部门先用起来”的相关话题,今天跟各位朋友分享的主题是“自助式BI赋能组织提升”。
今天是我第三次参加观远数据的活动,在前两次,我分别介绍了“企业怎么样建立自己的数据分析架构”和“企业怎么样建立数据分析的运营方式”。我们知道,观远数据非常强调业务部门能够在企业级的大数据平台之上、在企业新的数据分析的运营体系之上,更好地让BI工具赋能,让业务自己能够自助式地将其使用起来。所以今天我给大家分享的主题就是“怎么样建设一个自助式的BI”。
PART 1
5大业务趋势呼唤现代BI
讲到自助式BI,我们要看到BI为什么在今天会有这样的发展趋势,是什么样的原因让传统BI正向新形态的BI发展。在今天的业务环境之下,我们观察到有这样五大业务趋势:
|数据文化变革工作方式
企业从过去直觉式的、拍脑袋的决策方式,转变为以数据说话。而“数据”,不仅仅是产生在一些业务报表中,它也包括在我们的业务运营中。
|“大数据”为业务洞察提供了革命性的方式
因为数字化的手段越来越多,数据也随之增长,既有内部的数据,也包括一些社会上的大数据、社交媒体的大数据。这些内部的数据和外部的数据,为我们的业务洞察提供了革命性的方式。
|BI解决方案和架构日新月异
BI的解决方案和架构也在发生日新月异的转型。传统意义上,BI是在所谓企业级数仓之上的数据探索和数据报表的工具。但在今天,已经从企业数仓发展到大数据平台数据分析的工具。它既有传统的对历史数据较为静态的分析,也有面向未来的、面向条件假设的一些高级分析和数据挖掘,包括人工智能的应用。这也让BI无论从数据的展现、数据的分析来说,技术栈越来越复杂,技术手段越来越多。
|数据治理日趋复杂,信息安全愈加重要
企业的数据源越来越多,跨部门的数据使用也越来越多,数据治理和信息安全面临的挑战也越来越突出。以数据治理为例,因为数据源来自不同的口径,当我们要用数的时候,肯定要去整合不同数据源的数据,对于整个数据的一致性、数据的质量,企业内部就需要有一个统一的协调。另一方面,今天我们采用一些云原生的数据分析平台,越来越多的数据不是在企业的内部,很多数据甚至会放到公有云平台。采用的数据工具如果对数据的权限、核心信息安全没有很好的机制,会给信息安全造成很多隐患。
|BI和数据分析运营模式变化:从IT到业务
这是我们和观远数据一直在讲的话题,数据它本身不是个IT的问题。虽然数据从提取到数据工具的提供、数据平台的搭建,跟IT是密不可分的,但是从数据运营、数据质量本身的角度来讲,它是一个纯业务的话题。所以怎么样能够让业务部门把数据用好,这也是“从IT到业务”的一个大的业务发展趋势。
PART 2
传统BI和现代BI的比较
在上述五个趋势之下,我们会看到整个BI的技术体系它本身在发生变化,也就是我们通常讲的传统BI和现代BI。
|传统BI
第一,传统BI的一个典型的特征是它的数据分析是基于本地数仓,需要大量的本地数仓。
第二,无论是数据的存储还是数据的查询,都对硬件和软件的性能要求很高。过去的一些经验里,我们在传统的ERP之上做企业数仓,它的内存硬盘整个设备的性能、软件的性能,甚至比oRTP这种服务器的性能要求会高很多,这样的话投入也非常大。
第三,数仓的方式,需要定义复杂的数据模型,需要把数据预先进行清洗,转化后再加载到数仓里面。一方面它的数据梳理的实时性相对来说会比较差,另一方面需要很多预先定义的数据模型,整个数据处理效率也比较低。
数据加载到数仓后,面向不同的业务部门的分析用途,通常还需要对数据进行再次的加工,我们会看到传统的数仓架构,都有多个数据层,针对数据存储、加工、分析等等建立不同的层,面向业务的话,会建立不同的业务的数据集市。也会造成跨部门数据治理比较困难。
最后,对于传统的比较固化的BI来说,预先定义的报表、分析工具都是受限于整个技术栈的体系设计,所以报表或者图表等都是预先hard coding“硬编码”的一些报表。从分析工具上来讲,通常也跟数仓等有比较大的绑定,所以灵活性也比较差。这是传统BI的特点。
|现代BI
我们会看到今天所谓的现代化BI的特点,从数仓的角度上来讲,是云原生的数仓模式,包括整个云原生的数据平台的模式。通过存算分离的架构,使得在进行数据分析的时候,无需反复拷贝数据。数据平时是存在数据湖里面的,根据分析的需要,临时进行处理和提取。这样一方面能够大幅的降低数据存储的成本,另一方面,数据分析的效率也会比较高。
通过数据虚拟化,或者今天流行说的“数据编织”等方式,包括所谓的“数据网格”等新的技术,能够让数据用分布式的方法存储。分布式的数据源能够做实时的数据处理,很大程度上提高数据处理的效率,降低数据存储的成本。
另外,当我们把存算分离后,数据的应用的前端,就可以通过API的方式和不同的数据分析工具与数据建立自动化的对接。对报表工具来讲,就有了更高的灵活性,只要是符合一定的信息安全规范,就可以非常方便的把用户端习惯的数据分析工具和数据源头进行对接。就像传统的电话,一个电话网络和电话机要求是固定的,但到今天,对用户来讲,不论想用苹果手机或想用安卓手机,想用华为或者想用小米,都可以有很大的灵活自由的选择。
所以,我们说要让用户使用起来,得先从企业BI的技术平台、技术架构以及工具选择上,释放用户的活力和灵活性。
PART 3
现代型BI赋能自主分析
实现业务洞察和决策支持
基于这样一个从传统BI到现代化BI的转变,我们可以通过一些数据分析过程中的流程自动化的工具,更好的赋能我们的业务用户,让业务用户用起来。
|流程自动化
流程自动化在基于前述的现代化BI的架构之下,会包含有例如自动化的数据源连接,所以我们会看到现在一些连接数据源的云上服务,包括国外的一些云上服务,估值都非常高。自动化能够提高数据源的连接效率,包括结构化或者非结构化数据源等广泛的数据源的数据接入。
第二个是自动化的手段,包括前面提到的一些数据虚拟化或数据编织,以及我们今天谈的分布式的数据管理,通过这种方式能够轻松连接通用语义模型的一些元数据。过去,做数据分析之前的数据准备可能会通过所谓的“数据中台”,数据管理人员会对数据进行多次加工,加工的过程本身也非常复杂。今天,面向分析,我们能够通过虚拟的方法将分布式的数据集中管理起来,提升数据通道、数据管道之间的自动化的效率。
最后,我们采用一些轻量级的、易于使用的数据提取或者转化的一些功能等,就能更好的提升从源头到分析之间的数据管理的效率。
|赋能用户
更好的赋能分析用户,要能通过拖拉拽的方式,直观的创造一些基本的数据分析模型,创造交互式的、可视化的数据探索的仪表盘。尤其是当用户使用这个数据分析工具时,通过交互的、可视化的方式,从不同维度对数据进行处理和分析,这都是自助式分析的一些非常基础的能力要求。所以我们希望数据分析工具能够提供一种可视化的、交互式的数据探索。
数据分析的基本过程,就是形成假设然后进行数据探索,来验证假设最后形成数据分析的结论。所以在形成数据思维或进行数据分析的过程中,需要有一个自助式的数据分析工具。不仅如此,这个数据分析工具要可以通过移动设备或者桌面设备等多种终端,使用交互式的数据仪表盘。从UI角度来讲,在移动设备和桌面设备上使用习惯、数据展现方式等都有很大的不同,所以数据分析工具如何支持多个终端的不同的使用习惯,也是一个让业务用户先用起来的非常重要的前提。
最后,让业务用户用起来,就是数据分析的过程在一个组织之内,可能通过多个部门来共同协作所产生内容。这些业务洞察、数据分析本身也是有它的流程的,例如产销数据分析,就是在销售体系中产生市场需求,在供应链体系产生现有的供应链能力,作为主计划员,会把产销两方协同产生的内容综合起来,形成产销衔接的业务洞察。类似这样的一种分析场景,需要在公司内部多人协作来产生内容,在公司内进行分享。
以上这些方式都是让业务用户把数据分析工具用起来所需要具备的一些条件。
PART 4
目前常见的四种现代BI类型
现在我们看到,无论在大型企业还是中型企业,就前面提到的从传统BI向现代化BI的转化,企业里实际存在着多种BI的架构或者BI的应用形式。所以今天我们看到市场上关于数据分析的说法名词也非常乱,各种各样的中台,例如指标中台、数据中台。但事实上我们观察到市场上几种主流的现代BI的Architypes类型。
这些类型包括数据湖和传统数仓的结合,它的主要区别是对于结构化数据是不是需要进行集中管理,来进行预算的处理。所以我们会看到大多数传统的数据库的方法,可能都是传统数仓。但随着数据湖的方式出现有些企业可能只有数据湖没有数仓,有些企业可能是传统数仓还没有建立数据湖,还有一些企业可能数仓建立在数据湖之上等等。数仓和数据湖结合,会产生不同的数据平台的架构,这些架构会让整个BI的应用的时效性、工具选择都有所不同。
第二种,现代BI的架构是在Hadoop之上的新的SQL,获得新一代的SQL工具。通过一些预测的方法,让整个数据分析的效率更高,实现SQL自动化,让查询效率更高的一种BI方式。
第三种方式是云原生数仓。很多企业采用了云架构,但可能都是基于企业的私有云或私有的数据平台,但今天我们也看到有越来越多的云原生的数仓或云原生的所谓Link House等云原生的数据平台解决方案,这些IaaS和PaaS其实都是基于公有云的。我们现在常见的在国外比较知名的Snowflake、国内增长很快的Databricks等等云原生的数仓,它们从数据的导入、数据的管理、数据的使用上都更加的灵活。当然对于整个安全机制、数据编码处理的能力,也提出来更高的要求。
最后一类BI工具是传统的一些企业应用的套件,甚至包括一些企业的传统平台提供的一些集成工具。例如大家熟悉的SAP,本身有全套的数仓和数据分析工具,还有像微软也提供了数据平台和像powerBI这样的云上数据分析工具。
这四种不同的BI类型,无论是数据湖和数仓相结合,还是Hadoop之上的SQL、云原生数仓以及企业套件工具等,不同的BI工具对企业自助BI的能力建设要求各有不同,所以企业要根据自己的BI环境来确定自己的BI策略。
PART 5
选择BI合作伙伴的策略
说到企业自己的BI策略,就涉及到企业在搭建BI平台时,怎么样确定自己的合作伙伴的策略。
正如前面所讲,当下的BI市场供应商体系越来越复杂,技术栈也越来越复杂,在诸如数据接入层、转化层、数仓层、数据分析准备层、数据分析工具层等等的每一次层上,都有很多供应商,同时也有一些供应商声称提供端到端的解决方案和工具。所以企业在建立自助式BI能力时,就要从不同的策略去考虑如何选择你的BI合作伙伴。
|最佳组合策略
即在数据平台的每一层或每一个组件选择同类最佳的方案进行组合。当然这对企业的IT管理能力、架构管理能力、技术开发能力、集成能力,都会提出更高的要求。因此如果企业每一层或每一个模块都选用最好的方案,作为企业主体就需要考虑到供应商的规模、稳定性、市场的普及性。对于一些特定的方案,例如视频数据的处理、人工智能的处理,就需要选用在特定领域中具有创新能力的供应商,即便供应商不是很大,但在特定领域里有非常强的能力。这是第一种策略。
|集成策略
即尽可能选用同一个供应商,它要能提供尽量多的组件。市场上一些大的云的供应商或数据分析产品的供应商,其实都提供全线的产品。尽管每个产品线不一定是我们前面谈到的best of breed(最佳组合),但从同一个厂商选择多个产品,对于企业整体部署的方便性以及技术架构的一致性来说相对会是最好。
|混合策略
即尽可能采用一个主要的供应商提供主要的组件,但在一些特定的方案中,选择其他供应商,是集成策略加上最佳组合策略的综合策略。
PART 6
搭建现代BI平台的方法
在了解了传统BI到现代BI的演变、常见的现代BI类型以及选择BI合作伙伴的一些指导性原则后,我也想跟大家介绍一下BCG Platinion帮助客户进行BI平台规划和搭建的方法。当然具体的搭建我们也都是依靠观远数据等市场上领先的技术公司来提供技术平台。
依照BCG Platinion过去的经验,搭建一个自助服务的现代BI平台,一般有这样几个步骤:
1. 关键KPI确定
2. 从高保真模型创建到架构设计和数据库评估
3. 从原型开发到架构搭建和数据库准备
4. 完整版本交付
所谓BI其实是我们的分析对象,即一些KPI或一些指标的确定。我们非常推荐采用敏捷的方法,实现平台的最小可用。从平台高保真模型创建开始,到原型的开发,到完整版本的交付,一般可能需要半年到一年的时间,但前端的原型基本上每两到三周就会产生一个迭代。第一个迭代是从高保真模型开始,从高保真模型取得用户的认可之后,开始做架构的设计以及整个数据库的评估选型。再之后,通过最小可用的原型,一般经过两到三个周次,就能够搭建一个可用的用户原型,在业务中实际使用。接着从用户反馈来改进平台架构、改进BI分析能力和分析工具。
我们可以从BCG Platinion的实际案例中看到这几个步骤的实现:
这是BCG团队帮助某银行搭建面向业务用户使用的现代型BI的一个案例。背景是某银行过去在月度经营会上需要对很多经营指标,银行期望数据分析工具真正让业务部门用起来,能够实现在讨论业务的过程中,业务部门能够用数据说话。例如目标是要提供经营利润,那么就要看高利润产品或高利润服务的业务是不是在增长,再深入来看未来要做好高利润业务增长的话,有哪些价值驱动的因素,比如市场营销、产品开发、数字化能力是不是支持这些高利润业务的发展。
从业务分析逻辑上来讲,这之间的每一步是层层递进的。所以在使用数据进行经营分析和讨论的过程中,站在业务的角度,不是要预设一个KPI进行监控,而是要帮助业务讨论。过程中根据业务实际,建立交互式仪表盘,对于数据进行层层穿透的查询,以帮助业务洞察。
BCG团队帮助这家银行设计了基于总体愿望目标(企业业务北极星指标)、数据层层穿透的数据分析体系:
第一层是一些大的财务指标;
第二层则将其细化到按照区域或按照产品线、客户类型的指标,从不同业务维度进行分段;
第三层和第四层是确定分段级指标的价值驱动因素,例如整体业务运营效率或营销效率等。
我们帮助这家银行建立了这样一个数据分析的指标体系,这些指标体系中有些是不能看到业务结果的滞后性指标,有些是帮助业务提高运营效率的先导性指标,只有当业务能力提升后,才能从业务结果中看到。
所以,我们说“让业务人员用起来”,就是要首先帮助业务人员结构化分析的逻辑,帮助他建立业务的先导性和滞后性指标,建立指标之间的关联,辅助他在整个业务讨论过程中更加结构化地讨论业务。当他每面向一个讨论课题时,能够帮助他实现指导性的数据分析。
PART 7
敏捷开发自主分析工具
及时采纳用户反馈
这样的分析过程很大程度改变了这家银行传统的月度经营会方式。在大型企业工作过的都会对所谓QBR(季度营运会议)或MBR(月度营运会议)有所了解,过去都有套表,这些套表通常都是比较格式化的,而且指标相互关联的程度、自助分析的程度都是不够的。BCG团队就是帮助这家银行把过去的QBR、MBR的整个报表体系,转化成了可视化、交互式的数据分析的指挥板。
这整个过程前后经历了半年的时间。在最后交付可用的产品时,基本上已经经历了9次敏捷的冲刺,我们也采取了很多常见的敏捷活动,例如站会看板、工作任务跟踪、用户体验、沉浸式讨论会等等。每次冲刺大概短则一周,长则三周,经过了9次冲刺,前后经历大概两三个月的时间,通过这个过程帮助这家银行建立了数据分析体系,进行数据的探索。
我们也落实了KPI相应的管理权责和条线,以及一些临时性的报表模板,把过去的报表按照新的KPI体系进行梳理。同时做了高保真的原型,并且将高保真原型做到通过系统开发接入BI工具,进行了自助分析工具的原型发布。在工具原型发布后,我们对整个数据链路的自动化以及分析的增强功能进行了一些完善和丰富,同时在这一过程中面向业务用户进行路演培训。
当我们第二次版本迭代时,这个工具就已经做到在这家银行的几个主要试点事业部中,尤其是业务管理者中广泛使用了。在后续持续的迭代中,也在不断采纳客户使用过程中的反馈,同时对用户进行持续的赋能和培训。
这个自助分析的BI平台的整个建设过程,就是一个很典型的敏捷的方法,最终赋能业务用户使用。
这是我今天分享的让业务用户用起来的现代化BI以及BI的敏捷建设方法。感谢观远数据,也感谢各位的聆听。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
