随着移动互联网的飞速发展,云计算、大数据、物联网等互联网技术的应用逐渐普及到各行各业,传统产业迎来了更加广阔的发展空间。
降低成本,提升效率,拓宽业务,减少风险……企业实现数字化转型的好处有目共睹。在这样 的背景下,越来越多的企业纷纷拥抱新技术,寻求数字化转型升级。
企业数字化转型的核心的是通过数据能力的建设,打通经营、管理、运营等各个维度,实现企业由内到外的数字化,让数据在各业务终端实现高效赋能。就如人力资源能力、财务能力、业务能力一样,数据能力已经逐渐成为企业的核心能力之一。在这个过程中,企业需要从人员组织能力上进行构建,组建一支大数据团队对其进行运维、管理和使用。
如何组建一支优秀的大数据团队?在建设数据能力的过程中,企业需要注意哪些?近日,科杰大数据CEO于洋受51CTO学堂邀请,以讲师身份做客直播间分享了自己的观点,给寻求数字化转型升级的企业提供了一份参考答案。
从不同的维度看待数据工作
对于企业来说,可以从三个视角去看待数据工作,即技术视角、业务视角和组织视角。从不同的视角出发,相应的工作需求各不相同。
技术视角按照数据工作中技术层面的发展脉络,聚焦于CIO、CTO及其所属的信息部门,在日常工作中涉及的相关产品、技术框架、最新概念等;
业务视角则需要专注于给技术端提供更为实际的需求和方向支持,如报表、数据分析、数据报告等运营端的实际需要,以及用户画像、精准营销等数据智能应用;
组织视角则更为宏观,需要关注于企业的数据是否形成了数据资产,是否实现了以数据驱动企业的经营分析决策,AI创新在业务场景上是否真正落地,数据是否真正带来了业务的开展提供了助力、为企业创造了价值。
综上所述,业务视角和组织视角所关注的内容,是数据在业务终端发挥价值,实现数据驱动管理提效,实现数据赋能业务创新。CIO、CTO如何从技术领域出发,构建长期高效支撑业务视角、组织视角的核心能力是数字化转型的关键,也是数据能力价值最直观的体现。
企业如何组建数据团队
大数据部门基本概要
按照互联网行业的常规体系来看,大数据部门可以分为平台研发部、数据仓库部、商业智能部和数据应用部四个二级部门。(三级部门及设计的岗位名称如图所示)
在企业进行数据工作时,以上四个部门有两种常见的形态构成。
第一种形态较为典型:数据平台研发部负责打造大数据AI通用的基础设施,构建数据能力所需要的底座;数据仓库部门需要进行数据整合,建立数据资产;数据应用部门需要进行模型算法对接应用系统的构建和开发;最后由商业智能部则需要实现各种业务单元的服务支撑。
第二种形态是由第一种升级而来,更适用于集团的大型数据部门进行有效支撑:与第一种形态相比,这种形态数据平台研发作为基础建设,但数据仓库部升级为数据资产部,而商业智能部的职责也细化为商业智能和数据智能两方面。数据平台研发部和数据资产部,形成了自下而上的数据能力基础建设,统一构建大型的技术工程能力和数据资产能力的底座,用以支撑商业智能和数据智能的具体应用。
相较之下,第二种形态能更加有效地构建一个数据驱动型的企业,让企业的数据能力得到最大程度地应用。
大数据部门的核心职能
大数据部门的核心职能,可以概括为整体性构建企业数据能力。而数据能力则体现在以下三个方向:
- 管理数据化,数据驱动管理提效。
- 全业务线智能化,数据智能激发增长。
- 构建集团数据生态,打造智慧型企业。
以上三点虽然可以很好地概括企业数字化转型的终极目标,但并不是大数据部门可以落地执行的内容。
基本核心职能
聚焦于大数据部门的实际工作中,其核心职能就是要为企业的商业智能和数据智能提供有效支撑。
明确核心职能后,具体到大数据部门的不同岗位,也各自有着明确的分工。在这样一套能进行有效支撑的职责体系下,让本是以研发体系为内核的大数据团队,与企业实际业务团队之间的距离会越来越近。
尤其是对于大数据部门负责人来说,会在研发的角度上,与各业务线进行有效地连接,从而带领团队逐渐实现从成本中心向价值中心转化的过程。
核心职能2.0
对于规模庞大的集团企业而言,为有效支撑数据工作在各组织、各体系中平稳有效地开展,其大数据部门也会进行相应的演化,以通用性更强的体系,更加开放赋能的方式面向各组织、各部门进行赋能。
相较于1.0版本而言,这样的大数据团队中各部门的能力和职责都进行了升级和提炼,各岗位会更加专注于统一性的数据能力建设。对于各职能性的业务人员来说,会逐渐转化为集团大数据能力的直接用户,在集团统一的数据基础设施之上,完成从被动等待被服务到主动进行数据提取、分析的转变。
在这样的职能体系下,集团的大数据团队与组织内各研发体系和业务端之间的关系也发生了相应的变化,大数据部门将成为集团性的统一数据能力构建者,并承担管理和赋能的职责。2.0版本的核心职能体系,可以为企业生态发展提供有效的服务支撑,通过核心数据能力引领企业成为真正的智慧型企业。
企业如何构建数据能力
企业构建数据能力的常见问题
企业在构建数据能力,开展数据工作时,第一原则就是要从自身的需求出发。很多企业进行数据工作时,都是从某个点端或某一层级进行开展,缺少统一的顶层设计和规划,不能系统性地进行数据能力建设。这就导致在进行数据工作的过程中,经常遇到以下问题。
BI/DI的进化方向
针对以上企业常见问题,科杰大数据将数据应用端的需求进行总结,主要体现在商业智能和数据智能两个方面。
在商业智能(BI)方面,企业需要构建全域数据资产体系,以开放赋能的形式实现各业务组织对数据的自由查询、获取、分析,这也是BI进化的方向。企业最终需要实现数据驱动下的精细化运营管理,助力企业各业务线降本提效。
在数据智能(DI)类项目方面,企业则需要建设一站式全流程的大数据&AI基础设施,实现数据项目的大规模高效协同开展,加速全线系统的数据智能构建,在数据智能引领下实现企业的增长和业务的创新。
数据生态型企业构建
要达成向数据生态型企业的升级,企业需要完成相关的体系化建设,包括数据采集体系、生产研发体系、资产治理体系和数据运营服务体系等。
通过培训认证、平台使用分析、各部门使用分析等一系列数据能力的开放赋能,让数据建模人员、数据开发人员、应用系统开发人员,以及非技术研发类的业务人员(运营、销售、财务)等,由以前的被动接受服务,转变成具备自己找到数据、分析数据、消费数据的能力,将数据智能、数据驱动、数据运营体系有效地通过集团的数据资产进行统一的支持服务,打通各不同体系原本的数据孤岛,从根本上解决数据技术障碍、数据门槛过高等问题,构建企业完整的数据生态。
数据能力构建解决方案
围绕前文提到的集团大数据部门应具备的数据能力,科杰大数据根据自身十余年的大数据技术工程能力和行业领先经验,总结出一套构建企业数据能力的最佳实践。
科杰大数据致力于以大数据技术工程软件、全域数据资产建设服务、大数据工作方法论帮助客户建立自主的核心数据能力,从而支持数据驱动、数据应用项目长期、稳定高效、规模化的开展,完成数字化转型。
企业数据能力的阶梯
企业的数据能力的直观体现,就是让企业底层的数据资产能切实在商业智能和数据智能两端落地应用。企业的数据能力可以按照递进关系分为以下几个方面:
- 大数据技术工程和AI基础设施能力
通过大数据技术工程打造具备服务化和数据开放能力的应用产品,实现业务人员无障碍地通过产品完成离线实时挖掘。
- 全域数据资产建设
将企业的结构化数据、泛结构化数据、非结构化数据可以在一种基础设施上进行有效整合,让来自企业中底层的数据能力持续形成可用于任何项目分析的数据资产。
- 数据工作方法论
以项目迭代复用的管理方式,将数据的同步采集和发布形成统一链条,让DataOps有效落地。通过开放、赋能和组织能力实现企业整体的数据工作协同持续开展,在各业务端形成有效支撑,让企业实现以数据为驱动和数据智能引领,完成数字化转型的目标。
科杰系列产品矩阵
科杰大数据通过一线互联网大数据技术工程能力,进行从离线/实时数据汇聚、数据标准化、数据治理、数据资产管理、智能模型构建、数据服务输出等面向应用场景的数据全流程体系建设,打造系列产品矩阵。
产品设计融合了数据资产建设方法论,覆盖数据全生命周期,支持国产化部署。科杰系列产品矩阵在数据汇集、数据治理、数据资产管理、实时数仓建设等场景中具备业内领先优势。
亮点1.
数据汇聚全过程以零代码方式完成,通过拖拽配置方式完成多种异构数据源的灵活接入。
亮点2.
不仅支持Oracle、PostgreSQL、MySQL、SQL Server等传统关系型数据库,同时支持MPP、NoSQL、HBase等非结构化数据存储,支持IOT数据采集与介入。
亮点3.
大数据量同步优势明显,可以达到亿级数据分秒级同步处理速率。
亮点4.
全面兼容国产数据库与国产操作系统,为企业提供符合信创国产化标准的数据能力建设。
亮点5.
通过数据质量管理、数据安全管理和元数据管理,建立体系化的安全策略措施,确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。
系列产品协作流程
科杰大数据系列产品的数据能力包含5个核心模块:数据同步系统、数据开发管理平台、实时计算平台、数据科学平台、数据资产目录和数据服务平台,覆盖离线/实时数据同步、数据标准建立、仓库模型设计、数据开发、智能调度、数据监控、可视化查询分析、数据治理、元数据管理、数据服务等,构建企业统一大数据处理中心,实现数据汇聚、统一、资产化,服务化并面向全业务开放赋能。
企业级数据资产实施流程
科杰大数据通过多年的大数据综合实施经验,总结出了一套通用的大数据实施方法论并基于这套方法论构建统一、规范、可共享的全域数据体系,帮助企业建立完善的信息化解决方案,全面支撑公司业务发展,规范作业流程、提高工作效率、减少重复劳动,保障数据的准确性。
科杰数据资产建设方法论中总结了标准的、完善的企业级数据资产实施流程,结合科杰大数据的完整产品矩阵,能够极大地提升项目实施效率。
为什么选择科杰
科杰大数据将十余年大数据技术工程能力赋能于各行业,为客户提供新基建核心数据能力建设,支撑企业未来 5-10 年数字化转型的数据能力构建。
科杰大数据的核心优势
技术产品化,实现技术降本科杰数据中台通过高度产品化实现低代码的应用体验,降低企业的大数据底层技术开发门槛。
服务共享化,实现应用提效基于云原生,帮助客户实现敏捷构建和协同开发,快速支撑响应前台业务应用需求。
数据开放化,实现业务赋能面向企业的不同业务角色,实现数据能力的开放共享,赋能企业应用场景创新升级。
行业案例
科杰大数据目前已经成功为政府、金融、汽车、教育、通信、工业互联网等行业客户,提供新基建核心基础设施建设。
科杰大数据致力于构建企业自主数据能力,提供符合国家信创标准的大数据基础软件,以新一代湖仓一体的敏捷数据平台,面向全行业提供数据能力服务,打造企业数字化转型的技术底座,构建数字经济引擎、产业互联中枢、智慧城市基石。