深度解析数据中台建设的要素及路径
2020-08-10
本文由CIO发展中心根据科杰大数据副总裁郭振强在数据中台的企业落地之旅专题线上研讨会上的演讲整理
郭振强 科杰大数据副总裁
各位业内的朋友大家好,非常高兴有机会与各位朋友就数据中台展开讨论,希望我的分享能给大家带来一些帮助和启发。
本次分享我将从三个方面展开,分别是:1)数据中台在数字化转型和数字经济中的定位;2)数据中台的三要素以及具体建设路径;3)科杰数据中台产品。
以数据中台视角洞察数字化转型
在过去的5年里,APP、Web、小程序的建设是拥抱互联网,推进“互联网+”和“产业互联网”的第一步,它实现了业务线上化。在这之前,IT的建设更多的只是管理软件的研发,例如财务软件,客户管理软件、OA的协同办公工具等等,但是这些软件并没有连接和触达到C端。而业务线上化使企业有能力连接到C端消费者和B端的产业,其中也包括了大量IOT设备的采集和连接,因此业务线上化是企业数字化转型的第一步。
业务线上化带来的结果是业务数据化,其数据可以真实表达线下业务的情况。这里会涉及到一个概念:“数字孪生”,数字孪生指的是我们通过数据连接之后产生数据,然后重新呈现一个虚拟的数字孪生世界,从而表达线下业务发生每一个动作的过程。
在管理软件时代,各个DB集中后形成相关报表,通过BI形成报表平台,让企业经营决策的管理层通过数据统计报告指导决策,或者进行相关的分析工作。大部分企业以季度为节点进行财报或者决策分析,数据被动且滞后的反映业务现状,而且大多数为宏观数据,因此无法指导企业更好的进行决策。
数字孪生反映的是企业所有的细节情况,更利于企业分析业务的相关信息。有了数字孪生项目的支持,可以开展大量的增值项目,例如实时大屏、移动BI、总裁桌面、驾驶仓等等。增值项目的推行,一方面在于用数据驱动企业发展,实现精细化运营提效。使得企业内人人都是分析师,每个人都能够通过数据去优化工作流程。
另一个方面,是通过机器学习、数据挖掘,进行快速构建和部署高精度的机器学习模型尝试,将数据价值反哺业务应用系统。模型有用户画像、精准营销、智能客服、智能调度、风控建模等多种类型。通过数据模型的应用,实现了业务增收和业务创新。数据挖掘工作有一个显著特征,即模型发挥的价值需要叠加到功能性系统中一起转化为智能系统,这也是我们所说的DI,它具备引领创新增长的能力。
在实际应用中,BI和DI助力企业实现了全线业务智能,再通过数字孪生,用数据表达现实业务及线下真实场景,充分发挥数据的作用,这是企业完成数字化转型的重要一步。在我看来,数字化转型需要企业做好两件事,第一,是以互联网技术为基础进行各种能力的连接;第二,是通过数据驱动企业提效和增长创新,从容完成全线业务智能。未来5年到10年,企业数字化转型的核心是全线业务智能的实现,这在落地上会遇到很大的阻力和困境,其根源在于企业研发人员的各种能力都是在应用系统建设的能力,他们缺少数据能力与数据技术以及成熟可落地的数据项目开展的管理办法。
进入DT时代后,需要数据与技术的驱动来进行智能的建设,因此企业面临着储备人员不足、技术能力差、数据整合不完善的问题。海量的业务数据,如何整理和规划,并在此基础上形成企业数据资产服务相关的业务。我认为应该从以下3个方面入手:
1、合理运用大数据技术。AI技术要具备工程化、平民化的能力,要让普通的技术人员具备大数据的开发能力,即便无法达到数据智能和数据挖掘的高度,也要让相关人员掌握海量数据处理计算能力,从而使他们能够互相协同,工程化进行企业大数据基础建设。
2、数据处理至关重要。数据不会自身直接发挥价值,所以我们要进行海量数据的整合、治理,形成数据资产。部分项目在开展的时候,相关人员可以直接找到数据,在完成相关的采集和数据治理工作的同时,可以找到可用的数据,进行后续的数据处理工作。
3、数据项目复用协同落地。在项目开展的过程中,我们需要数据能够高效协同复用,并规模化落地。在项目开展的过程中,最好的案例就是一个项目的实施,可以复用另外一个项目过程中的数据结果,数据模型在不同的项目之间协作运行或叠加,这一举措将大大提升项目推进的效率。
具备以上的三个能力之后,才有可能进行规模化全线业务智能的建设。大数据AI的技术工程能力,数据资产的建设和对应管理能力,以及数据项目可高效协同规模化复用能力,这三点是数据中台的核心能力。
深度解析数据中台建设的要素及路径
数据中台是互联网行业持续实现全线业务智能的最佳实践,是数字化转型的核心引擎,是数字经济的核心基础设施。数据中台将IT的研发能力转向于业务的实现,专注于数据智能和数据驱动,而数据带来的价值,实现了不同研发体系的降本增效,以数据引领增长,这有利于数字化转型在深水区的落地和实现。
数据中台的建设除了业务的支撑,还需要各种BI项目的支持,越来越多的中层、基层人员,会依赖于研发体系、IT部门或数据部门,怎样快速的去满足相关人员对数据的灵活获取和需要?采用何种方式进行数据权限的下放?如果将所有数据都开放给业务部门,会给业务部门带来一定的负担,以何种方式实现数据的共享取决于IT部门或者数据部门的管理。这也是第一个关键部分。
在DI的建设中,随着大量C端应用系统的触达,企业业务发展需要融入数据和模型的价值,实现应用系统的数据智能化。如何帮助服务运营系统的研发人员实现大规模的互相协同和高度复用的开展项目,是企业面临的主要压力,这也会逐渐形成数据中台的支撑能力。
大数据AI基础设施的能力是第二关键部分,这时企业不再需要技术本身细节、稳定性、性能的支持,而是需要通过一站式、全流程、成熟易用的数据中台产品,完成各种分散数据的整合汇聚和数据标准建设。通过覆盖数据处理全生命周期的中台产品,完成全域数据资产建设。
在全域数据建设中,既有面向传统数仓和集市的建设,也有面向分析及应用的主题数据建设等,还有面向于应用系统,实现应用系统数据智能化的深度挖掘和数据价值模型数据的建设,最后各个角色能够在一套PAAS平台上,联合复用高效的去开展项目。
第三个关键部分是大数据工作开展的方法论,这涉及到分散的数据如何汇聚成自主可控大数据,如何进行数据治理有效组织形成数据资产,形成数据资产之后,如何去赋能企业,数据权限如何进行管控等问题。
以上这三部分作为数据中台的三要素是紧密结合的,它构成了整个的数据共享体系,以持续建设的能力助力企业的数字化转型,夯实数字新基建。
从企业的架构来看数据中台的价值。
在企业建设的早期,数据建设的目标是建数仓。通过前台应用系统与数据系统的打通,与C端或者B端连接去满足生产的需要;后台的各个应用系统满足经营管理决策的需要;原本的各个应用系统,数仓通过报表工具连接做报表,支撑企业日常的生产运营。随着各种小前台的建设,尤其是面向C端的大量应用系统的建设,数据量急剧膨胀,原本构建的数仓,面临着巨大的存储压力、性能压力、查询压力,更不用说去为业务赋能,实现增值创新了。
在这种压力下,企业数据建设的目标会逐渐转移到以互联网、大数据体系为基础的开放赋能的能力上,即企业数字化新基建能力。而对于数据价值的要求,不再局限于精细化运营方面的可视化大屏,除了核心的报表之外,数据部门会进一步通过数据中台的开放共享能力,让更多的运营人员和对数据有需要的人员,灵活的去获取分析数据。在整个前台应用系统层面,会融合叠加数据中台提供的数据价值、模型价值去实现应用系统的数据智能化升级。
科杰大数据:企业数字化转型的优选合作伙伴
科杰大数据通过一站式的数据开发管理平台完成各种分散数据的整合汇聚、数据治理、数据标准化,支撑多团队高效协同开发,通过智能调度自动解析任务流的依赖关系,实现对几十万甚至上百万任务的可视化管理。在数据处理的整个过程自动沉淀数据资产,数据血缘关系,最终形成数据价值统一的数据资产。
科杰通过数据同步和实时计算,来满足各种异构关系型数据库端到端的实时同步以及实时计算的一些场景,借助一站式机器学习平台,满足应用场景的智能化算法模型构建。数据服务平台作为数据分发和共享中心将服务与应用系统无缝对接,对应用系统的高并发需求做到毫秒级服务响应。科杰数据中台以综合的大数据技术工程能力夯实整个数字新基建的根基,支撑上层各个数据应用的建设。
数据中台的建设能够给企业带来三个方面的价值和转变:第一是面向IT部门,通过一站式大数据技术工程能力,全托管的PAAS平台,实现技术降本,赋能更多的技术协同高效开发,提高整个应用数据智能研发效率;第二是面向于业务部门,通过数据资产建设,以数据中台更加开放的能力,赋能业务进行灵活分析;第三是面向企业,基于整个数据平台持续的数据资产构建,包括大规模团队数据项目的协同开展,持续去提升应用的创新能力,快速高效的支撑前台业务的精细化运营和数据智能的业务创新。
科杰大数据作为领先的数据中台综合服务商,在企业数字化转型、产业互联网以及智慧城市方面都有完备的方案和成熟的经验。我相信,企业数据中台的建设离不开一个专业的伙伴,在专业技能的支撑下,企业数据中台的建设定会逐渐完善,进而让企业的数据变成核心资产驱动业务创新,企业的数字化转型之路将变得更加平坦。
关于科杰大数据:科杰大数据,作为领先的数据中台解决方案提供商,向企业和机构提供由一线互联网大数据技术工程能力、全域数据资产管理及大数据工作开展方法论构成的完整数据中台解决方案,帮助企业快速建立数据中台体系,赋能企业数字化创新能力,实现大数据和人工智能驱动下的管理提效和业务增长。科杰的创始团队来自于京东大数据核心管理层,致力于将十年大型互联网建设数据中台所积累的核心能力快速赋能于各行业,以大数据基础设施能力加速企业数字化转型与数字经济构建。