数据治理支撑平台建设需求
数据治理支撑平台在数据管理工作中,扮演着“执行者”的角色,是数据规划成果及标准设计成果、数据存储、数据管控、数据交换、数据应用得以落地的基础。
科杰科技数据治理支撑平台建设的路径如下:
(1)明确数据治理支撑平台的管理管控对象。结合数据规划成果及数据管理需求,明确不同类型业务的数据管控对象及管控范围。
(2)完成数据治理支撑平台的架构设计。结合数据管控对象,从IT建设角度,规划数据治理支撑平台的总体架构;基于数据管理工作的落地与实施,规划平台功能架构;从技术实现角度,规划平台技术架构;从软硬件环境部署角度,规划平台部署架构。
(3)完成数据治理支撑平台的软硬件环境设计。基于平台的架构设计成果,进行硬件设备配置及技术参数的规划,软件产品、组件及选型的规划。
(4)完成数据治理支撑平台的实施路线规划。从平台的建设维度、实施维度,进行平台实施阶段划分、阶段目标及任务的规划,以确保平台建设工作及数据管理工作有条不紊地进行。
科杰科技数据治理支撑平台功能架构
数据治理支撑平台主要的作用在于“定数据”、“管数据”和“用数据”,其目的是为实现对数据的自主定义、自主管理、自主利用,通过系统、平台、工具来降低数据的技术特性,放大其业务特性,使之变得易于理解、使用;提升数据资产特性,集中管理并且能控制数据;功能架构主要承接业务的落地,从功能方面规划满足数据治理各类业务所需的应用。
科杰科技数据治理支撑平台功能架构
元数据管理:元数据作为定义数据的数据,应包含数据模型的所有属性信息、字段以及所关联的数据标准、数据指标、关联关系、加工规则等信息。按对象,元数据可进一步细分为业务元数据、技术元数据、管理元数据等,不同数据对象的元数据的模型,至少应包括元数据的分类、具体数据项等。支持元模型管理、元数据采集、元数据维护,实现对数据的元数据信息进行管理,从而打通不同数据源以及不同库表中的数据之间的联系,为数据的全链路分析提供依据。
数据标准管理:数据标准平台主要提供数据标准的建立、落地映射、标准查询、标准任务监控等功能,保证各用户对同一指标(事物)的理解是一致的,通过规范模型构建、任务命名等多场景的标准实现,督促数仓建设及业务库按照数据标准进行落地。
数据质量管理:为解决数据在采集、加工、治理过程中的数据质量问题,运用了标准化的规范,通过对数据表、字段自定义规则或者以规则模板的方式为数据添加质量监控任务,根据质量程度采取预警和阻塞措施,来保障数据的一致性、规范性、及时性、稳定性、完整性、准确性,并生成数据质量报告,为用户提供数据质量监控和跟踪的数据支持。
数据资产门户:提供中台数据资产地图功能,以数据搜索为核心,通过可视化方式,综合反映有关数据基本信息、表结构、变更记录、血缘关系、数据质量。帮助用户找到数据、读懂数据、消费数据,统一管理业务资产和技术资产,致力于为用户提供高质量的数据。
数据服务:数据服务是数据分发共享和开放中心,提高数据服务构建和发布的效率,打通全域数据资产中心与应用系统之间的无缝连接。在产品层面提供将数据快速生成API的能力,通过数据服务将数据中台的能力以API的方式对外进行提供,使用方可根据自身的需求打造专属自己的数据开放能力。数据服务具有高性能高稳定性、智能网关托管、统一API管理、安全可靠、全流程监控和简单易用的特点。
数据安全:数据安全包括安全策略和过程的规划、建立与执行,为数据和信息资产提供正确的身份验证、授权、访问和审计。在产品层面提供多租户资源隔离、分级分类管理、权限管控等能力,支持按租户进行计算和存储资源隔离和管理,不同租户的数据,可以独立管理数据、数据权限、用户、角色,实现与其他租户间彼此隔离,确保企业资源的合理使用和数据资源安全。支持对敏感数据进行等级的分类,按照敏感等级加强对数据的保护能力,保障敏感数据的安全。提供敏感数据灵活标定,支持对数据集成、分发进行数据加密脱敏以及解密的操作。