01项目背景
该基金公司成立于2001年,成立以来,凭借诚信、规范、稳健、务实的运作风格,从一个行业新生代成长为一个具有大资金管理能力的综合型资产管理公司,跻身于国内优秀基金管理公司行列。
为满足业务发展需要,该基金公司自2016年起开始数据仓库系统的持续建设,陆续完成了营销数据中心和投研数据中心的建设工作,并根据企业内外部数据统计、提取、监管报送等业务需要,构建了以报表分析为主的营销和投研报表平台,在较长时间内满足了企业内部日常业务报表加工、数据分析的需要。
但随着公司业务数据规模的快速增长和业务快速发展,对数据仓库系统提出了更高的要求,主要体现在原有Oracle数据仓库开发效率低,维护成本高,服务形式单一,急需满足业务上对数据高性能处理、高效数据服务、复杂业务计算、海量数据查询、元数据和数据质量管理等方面要求,在上述业务背景下,该基金公司提出建设基金数据中台,助力企业业务发展。
02项目问题与需求
该基金公司业务数据规模的快速增长和业务快速发展,对公司数字化提出了更高的要求,传统的数据仓库在数据交付效率、数据使用率等方面无法适应企业现阶段发展要求。同时,在国家法律法规监管要求下,基金公司数字化转型要进一步满足信创国产化建设要求,自主可控的保障业务和数据资产安全。该基金公司数字化转型所面临的困难如下:
数据分散割裂未整合:原有的数据仓库系统数据以域、系统为单位“烟囱”式分布,无横向关联,造成数据壁垒,无法从集团管理和整体视角,全面快速分析诊断痛点问题,发挥数据价值。
数据敏捷开发未具备:原有的数据仓库面对海量数据查询分析需求,处理时效性低下,无法满足业务场景需求。数据开发的采集、加工过程停留在需要大量有经验的数据开发人员写脚本阶段,无法实现自动化数据任务的统一编排和调度。
业务发展迅速系统开发低效:为了响应快速发展变化的业务需求,企业信息化建设效率低下且耗费巨大根本无法适应业务创新迭代的步伐。
国产化适配改造:因国产化数据库、数据仓库的替换,需要进行原有数据资产的迁移,以及持续的数据资产运营和管理。
03解决方案
基于科杰科技湖仓一体数据底座产品矩阵KeenData Lakehouse,构建的该基金公司数据中台,汇聚了各业务系统的数据,并快速实现了历史数据迁移,营销中心、投研中心的主题数据资产构建,通过分布式计算能力,解决了该基金公司Oracle数据无法实现的迁移与计算;同时基于数资产目录,实现了数据资产的运营与管理,在数据质量与数据安全管理方面有极大的提升,通过数据中台的数据服务能力,支撑了上层包括营销主题报表、业绩分析、风控系统以及反洗钱项目等数据应用建设。
通过一站式的大数据&AI能力平台(数据资产目录、数据开发管理平台、实时计算平台、数据服务平台、数据科学平台),覆盖数据全生命周期(数据集成、数据治理、数据开发处理、数据资产管理、数据挖掘建模、数据服务),赋能该基金公司大数据技术工程能力,完备支撑万台节点、数千人高效协同的大数据&AI基础设施,以及IT团队未来5-10年大数据和AI项目的持续规模化构建,实现业务数据能力的快速构建与落地。
04项目价值
1.采用全新湖仓一体架构,支持海量数据处理
数据架构一直在发展,以满足各种分析和认知工作负载日益增长的需求。现阶段,许多企业自建数据平台以及Oracle数仓、MPP数据库、甚至第三方云数仓对象存储,这些架构可以满足当前应用场景需要。从长远来看,企业如何既解决不同数据库的数据统一构建,又能考量到之前建设成果的复用,是横跨在现阶段该金融机构数字化转型升级的统一难题。
采用全新湖仓一体架构可以有效解决数据库的数据统一构建以及之前建设成果的复用问题。
KeenData Lakehouse采用全新大数据技术架构,优化了数据管理架构,充分融合数据湖和数据仓库各自优势,实现一套数据、一套任务在湖和仓之上无缝调度和管理。以湖仓一体、批流一体、存算分离、多模融合等技术创新,实现PB级多模数据存储与处理,具备弹性扩展、高可用、高并发、低延时云原生能力。在统一元数据、存储的架构之上,优化了流式计算和数据入湖性能,支持结构化、半结构化、非结构化数据统一存储,继承RDBMS数据库功能和ACID特性、支持工业级SQL标准、混合MPP+DAG计算引擎,为数据分析、处理、挖掘提供统一开发体验。
2.数据资产的统一管理,构建企业级数据管理平台
基于科杰科技数据资产管理平台,构建企业级数据资产目录,帮助企业数字资产的汇聚和管理,打造企业数字资产/IT资源治理和运营的统一门户,实现资产生命周期全程可视、可溯、可管、可用,并逐步实现IT异构资源的运营和管理,对外提供一致性的IT服务体验;拉通各底层产品的原子能力,实现数字资产的一键发布、一键订阅,拉通资产的开发、发布、部署、复用等环节端点,端到端构建支撑业务创新的技术平台,实现分散数据统一汇聚、标准化处理,实现资产的统一运营、存储和管理,完成企业数字基建。
3.企业级数据能力建设,助力核心业务的降本提效
提升协同效率:统一各系统间的数据标准,优化数据质量,减少重复建设,节约时间及人力成本,提升数据管理与应用的协同效率。
助力智慧决策:挖掘数据资产价值,赋能基金公司经营管理、用户旅程、产品运营、风险管理等全价值链业务场景,助力高效智慧决策。
助推业务创新:构建统一数据平台,实现数据资源汇总整合,数据资产协同使用,极速响应业务发展需求,助力公司业务持续创新。