近期,2023年大数据产业发展大会——数据基础设施高质量发展论坛在京隆重召开,在会上中国信通院云计算与大数据研究所正式发布了《湖仓一体技术与产业研究报告(2023年)》,作为领先的数据基础软件提供商,科杰科技凭借着多年深耕数据领域的行业经验,积极参与报告的编制工作并提出建议。
本报告由大数据技术标准推进委员会牵头,联合行业专家共同编制,聚焦于湖仓一体技术,详细梳理了数据平台的发展历程、湖仓一体实践路径,研究分析了湖仓一体的产业现状,并对湖仓一体发展进行展望与研判。
湖仓一体技术是当前最热门的数据管理话题之一,它具有准确性、高效性和可靠性等特点,以统一管理数据资产、降低数据冗余、降低大数据平台架构运维复杂性等优势成为大数据平台主流架构。据数字化市场研究咨询机构爱分析测算,在2025年,中国湖仓一体软件市场规模将达到百亿,并且在2022至2025年这三年期间预计复合增长率将达到86%。
湖仓一体平台软件具有广泛的应用场景和市场潜力,近两年主流厂商纷纷推出湖仓一体产品与解决方案,主流厂商类型涉及云厂商、数据库厂商、数据仓库厂商、大数据基础软件厂商等,根据爱分析《2022年中国湖仓一体平台市场研究报告》,大数据基础软件代表厂商科杰科技以11.1%的市场占有率位居行业第一,这一成绩彰显了科杰科技在湖仓一体平台软件领先地位,同时也反映了科杰科技湖仓一体数据智能平台KeenData Lakehouse在技术创新和落地实践等方面优势。
利用大数据&AI创新技术打造数字化转型基石
湖仓一体是一个复杂的工程,只有通过合理的设计、优化和治理才能实现湖仓一体的最佳实践。科杰科技湖仓一体数据智能平台KeenData Lakehouse 采用行业领先的湖仓一体架构,对数据存储计算引擎进行独立研发,产品应用了包括Data Fabric、Active Metadata Management、Data Mesh等在内的多项领先技术,融合了DataOps和Observability理念。一方面,面向上游提供统一纳管能力,兼容数据库、数据仓库、数据湖、数据中台等多源异构系统;另一方面,面向下游提供完善的数据基础能力,基于DataOps理念的数据工程体系支持数据低代码开发,数据治理与数据工程融合可实现主动元数据探查、基于AI增强的数据血缘分析等主动实时的数据治理,以及基于数据虚拟化提供智能指标、智能标签等数据业务表达能力,为企业提供端到端一站式数据底座产品和解决方案。
科杰科技湖仓一体数据智能平台KeenData Lakehous为某世界500强综合零售企业规划设计了未来5-10年的数据能力蓝图,并通过云原生湖仓一体数据底座,实现了跨云数据集成、统一纳管底层基础设施、建立数据标准和数据管理体系、统一集团主数据、元数据和支持多租户等重要功能。同时,该平台还重构了数据仓库体系,构建起全域统一的数据资源,帮助客户打通了消费者在WEB、APP、小程序、门店系统及各业务系统数据,并进行全链路数据血缘关系数据资产沉淀,形成公司内统一的数据门户高效稳定地支撑着上层业务开展。
此外,该平台还实现了数据资产服务化运营,实现了组织规模化数据协作,提升了大规模项目开发能力。通过高度可视化的功能,业务和运营人员可以自助分析和分发业务数据,从而极大地提升了数据在企业内的流转和使用效率。
KeenData Lakehouse成为首批通过云原生湖仓一体测评的平台
为了进一步规范湖仓一体技术能力体系,中国信通院云计算与大数据研究所联合了行业领先企业,包括阿里云、腾讯云以及科杰科技等,共同制定并完成了《湖仓一体数据平台技术要求》。该标准旨在帮助大数据产品供应商和用户方评估湖仓一体数据平台的技术能力和研发方向,并涵盖了湖仓一体数据平台所具备的五个关键能力域,分别是湖仓数据集成、湖仓存储、湖仓计算、湖仓数据治理以及其他能力。另外值得一提的是,科杰科技成为了首批通过中国信通院云原生湖仓一体测评的公司之一。
在数字经济时代,湖仓一体技术将发挥更加重要的作用,为企业数字化转型和创新发展赋能。未来,科杰科技将持续创新产品和服务,并与客户一起开拓数字化美好未来。