根据国际知名IT咨询机构Gartner给出的定义,DataOps是一种敏捷的协同数据管理实践,专注于改善数据管理者和数据消费者数据流的流通、集成、自动化、可观察性和操作性。
随着数字化转型的深入,数据业务场景日益复杂,DataOps被推向到了聚光灯下受到更多企业的重视。与此同时,今年中国信通院牵头正式启动了DataOps标准建设工作,科杰科技作为大数据行业头部代表厂商以DataOps实践为载体,总结提炼出符合企业数字化转型需要的一套产品体系和方法论,在标准制定工作中积极献言献策,为行业高质量发展贡献力量。
科杰科技依托于在大型组织十余年产品技术实践积累和方法论抽象成产品-湖仓一体数据智能平台KeenData Lakehouse ,整体设计融合 DataOps 流程模型和思维模型,具备数据集成、数据版本控制、数据转换、数据开发、智能识别数据关联、数据血缘解析、自动沉淀数据资产等功能,同时科杰科技DataOps将数据工程、数据集成、数据安全和数据质量等能力构建一套体系,降低人们使用数据的门槛,支撑从数据源到数据价值的全流程。
数据工程:DataOps由以数据基础平台KDP、数据同步系统Keen Dsync、数据开发管理平台Keen BDP、数据资产目录平台Keen Asset、数据科学平台Keen DSP、数据服务平台Keen DaaS及运维监控等工具构成,覆盖从离线数据采集、实时数据同步、离线/实时数据计算、数据质量和标准管理、数据资产运营、数据算法挖掘、数据服务到数据开放全链路的标准大数据建设,利用软件工程处理加工数据能力。
数据集成:科杰科技DataOps产品工具,提供了可视化的部署、管理、监控、运维大数据服务组件与大数据节点的能力,涵盖了HDFS、YARN、Hive、HBase、Spark、Flink、Presto、Kudu、Impala、Ranger等开源大数据组件。使数据在处理过程中,不同的数据源之间可以相互集成,相互补充。通过轻量简单易用式的形态交付给客户,大数据服务之间完全兼容,支持对不同模块进行拆分,可以灵活选择按需使用。
数据安全:应对大型组织多业态复杂场景的数据协作,不同角色的数据工作者都需要广泛、高频的数据访问和数据处理来支撑业务的增长,不同的人员、系统、接口参与的协作必然带来安全、隐私、风险等问题,科杰科技在DataOps中嵌入安全属性,用于控制和协调不断变化的数据及用户,从数据安全、系统安全、审计安全、容灾灾备、安全合规等多方面进行管理管控,保障任一数据产品组件的安全性。
数据质量:基于科杰科技DataOps实现元数据、数据质量等数据治理自动化,构建数据工程与数据治理相融恰的自治理体系。通过数据血缘、数据验证、数据目录等方式保障数据的一致性、准确性、可靠性、唯一性和及时性。
由此可见,科杰科技DataOps在数据管理者和数据消费者之间创建了一种协作文化,帮助企业打造数据全生命周期管理闭环,构建企业核心数据能力,持续支持业务价值实现。