中共中央、国务院印发了《数字中国建设整体布局规划》,数字中国建设按照“2522”的整体框架进行布局,即夯实数字基础设施和数据资源体系“两大基础”。作为数字中国践行者,科杰科技湖仓一体数据智能平台KeenData Lakehouse帮助企业构筑自主可控的数字基础设施,打造涵盖企业全生命周期的“数据链”,助力企业构建完整有机数据生态体系。
近日,科杰科技湖仓一体数据智能平台KeenData Lakehouse产品全线焕新升级 ,此次升级涵盖数据开发、数据治理、数据资产、数据科学、数据服务、数据应用。科杰科技湖仓一体数据智能平台KeenData Lakehouse是支撑企业数字化转型的新一代数据底座,面向AI科学家、数据开发、分析师、管理者等不同角色数据工作者提供开发挖掘、协同共享、数据管理、运维发布、DataOps一体化的全流程大数据解决方案,以领先的数据底座产品和多业态复杂场景的最佳实践帮助大型企业快速构建自主数据能力,打造数据驱动型组织,在数字化时代保持行业领先地位。
数据开发平台(Keen KDP)
KeenData Lakehouse数据开发平台支持多租户管理、多引擎架构管理,实现存算分离、流批一体、湖仓一体开发能力。数据开发平台提供了低门槛、高易用的一站式DataOps智能数据开发能力,涵盖数据同步、离线/实时数据开发、数仓构建、统一运维/配置等功能。
数据同步(Keen Dsync)
数据同步系统提供离线和实时数据在多种复杂场景下的同步能力,支持数据集成、数据分发、数据交换三大核心场景下的多种同步方式(整库/分库分表/动态表名/多表同步等),覆盖十余种结构化/半结构化/非结构化数据源。通过全可视化界面配置完成同步任务的创建,如源端/目标端选取、同步规则配置、字段空中清洗配置、过滤规则配置、脏数据识别、自定义同步周期等。
离线开发
离线开发平台是一站式、全链路、可视化、覆盖数据处理全生命周期的智能离线开发管理平台,支持数据集成、建模、跨引擎数据开发、数据分发等离线工作流开发环节,涵盖20+离线开发节点,如统一SQL语法自动适配的Hive、MySQL、Oracle、GP、SQLServer、Python、SparkSQL等开发节点、分支/归并/赋值/检查/通知等通用节点。提供全可视化界面以实现工作流创建、节点创建、节点流向图绘制、节点配置开发、智能调度和依赖配置、版本管理/回滚等能力。
实时计算(Keen Stream)
实时计算平台是可视化、高吞吐、高容错、简单易用的一站式实时计算平台,满足企业构建实时数仓、实时数据大屏、实时报表、实时数据分析洞察等实时数据处理场景。提供全可视化实时开发能力,具备开发任务创建、模板语言引用、在线调试、版本管理/回滚等功能,支持以FlinkSQL/FlinkJar的方式进行实时数据开发/清洗,涵盖Kafka、Oracle、MySQL、PostgreSQL、Hive、Iceberg等数据源connector能力。
统一运维中心
数据开发平台为数据同步、离线开发、实时计算等提供了完整易用的智能统一运维中心,包含任务运维、任务监控、任务发布、基线管理。任务运维,提供离线/实时任务的全可视化运维能力,离线任务支持智能依赖/调度、智能补数据、智能告警等,实时任务支持实时监控、实时告警等;任务监控,支持对任务运行状态/运行过程/资源监控等的绝对值/比较值的实时监控、智能运维排班、及实时分级报警;任务发布,支持多环境场景下的任务发布及回滚,提供对于网络绝对隔离下的发布能力;基线管理面向高优任务提供产出基线配置、基线预警的能力,确保重要数据的按时产出。
数据治理平台
KeenData Lakehouse数据治理平台提供基于湖仓的实时/离线数据、涵盖数据生产到消费全链路的数据治理能力,通过提供完善的数据标准、数据质量、数据安全、主数据管理等产品能力,辅助客户实现数据的标准化、可集成性、安全性、易用性以及质量管理。
数据标准(Keen DSM)
数据标准是企业数据治理的纲领,科杰科技提供了数据标准全生命周期管理的能力,包括标准的制定与发布、落标与稽核、更新与下线等能力,其目的是帮助企业从顶端构建数据统一的认知和规范、从数据源头符合国际/国家/行业/企业规范要求、从数据生产端保障数据链路,帮助企业降低数据标准化生产和应用环节的成本。
数据质量(Keen DQM)
数据质量是企业数据治理的核心,围绕数据完整性、一致性、准确性、稳定性、有效性和及时性对数据进行事前、事中、事后的质量监控,具备表/字段级规则库定义、多规则组合管理、脏数据识别、质量评估报告等能力,支持与数据开发过程的无缝衔接和关键质量问题阻断,面向企业提供全面的数据质量产品方案。
数据安全
数据安全是企业数据治理的安全线,良好的数据分级分类管理、高密级数据识别、加密脱敏机制是企业数据安全的保障,科杰科技数据安全产品提供规范化数据分级分类能力、安全规则管理和数据安全检查能力、以及敏感数据的自定义和动态脱敏过程,实现敏感数据的全链路使用安全。
主数据(Keen MDM)
主数据平台帮助企业提供符合数据标准的全局唯一的主数据规范,实现主数据编码的全局统一、 集中、规范管理,保证全业务系统主数据的唯一性与正确性,提高数据质量和增强信息共享降低企业数据信息运营成本。
数据资产平台(Keen Asset)
数据资产平台实现了全域数据资产的管理,诸如元数据资产、指标资产、标签资产、API服务资产、标准资产等,并通过统一资产门户进行资产的呈现和检索。资产管理平台提供三方资产的纳管能力,通过定义三方资产采集模板和采集方式,实现三方资产的采集更新。
数据资产管理平台具有如下特点:
- 全域资产管理:企业数据业务生产过程中,除数据表外,还会沉淀各类数据资产,数据表、数据标签、数据API服务、数据标准、科学平台模型等,资产平台实现全类目资产的沉淀;
- 三方资产采集:对于企业已有的数据,通过三方资产采集能力,可以在不需要整体迁移数据的前提下,实现这部分数据资产的自动采集和沉淀;
- 数据链路分析:资产平台提供全面透明化的数据资产分析能力,支持表级/字段级的数据血缘分析、影响分析、全链分析;
- 多模融合查询:科杰提供完备的跨引擎的数据查询能力,支持对企业内数据仓库/数据湖/业务库内的数据进行实时查询能力和敏感数据脱敏能力;
数据科学平台(Keen DSP)
数据科学平台是一个以机器学习算法为主的一站式模型训练和应用平台,能够帮助企业快速构建、训练和部署机器学习模型,从而实现更加智能化的业务决策和预测。科学平台提供了完整的机器学习工作流程,包括数据接入、数据预处理、特征提取、模型选择和评估、模型评估和发布、以及模型应用等功能。通过该平台,企业可以快速构建自己的机器学习模型,将其应用于各种业务场景中,从而提高业务的效率和精度。
更多产品
科杰科技湖仓一体数据智能平台KeenData Lakehouse,同时提供完备的数据服务生成和数据应用能力,包括数据服务平台、数据指标平台、数据标签平台。
数据服务(Keen DaaS)
数据服务平台支持Lakehouse平台内数据的快速服务化能力,同时支持企业已有数据源的服务化,是数据中台统一的大数据服务发布中心。提供数据服务的构建、发布、监控、授权、黑白名单、限流策略等功能,并支持以API的方式对外进行提供服务,打通全域数据资产中心与应用系统之间的无缝连接。
数据指标(Keen Index)
数据指标平台是基于维度建模理论的、可面向业务人员的、全可视化指标指标建模平台,帮助企业实现统一指标体系的建立。提供指标业务域管理、指标模型创建、模型在线关联、原子/衍生/派生指标的创建等能力,提供指标汇总表的能力,满足业务对指标的多维分析展示需求。
数据标签(Keen TAG)
标签平台提供一站式标签加工管理智能服务,为企业提供帮助企业和组织更好地管理和利用数据,提高数据价值和效率。核心功能覆盖标签体系、可视化标签生产、SQL标签生产、标签管理、人群圈选、人群分析、用户画像以及标签服务。
强化数字中国关键能力,构筑自立自强的数字技术创新体系,筑牢可信可控的数字安全屏障。科杰科技围绕国产信创,打造国产化信创大数据解决方案,与华为、麒麟、飞腾、人大金仓、达梦、海光等信创企业建立合作关系,共建信创生态圈,先后加入工信部信创工委会、北京信创工委会,通过华为鲲鹏芯片、鲲鹏云、鲲鹏技术栈认证,申请大数据相关领域软著及专利150余项,科杰科技支持市面所有公有云、私有云、混合云厂商平台,支持X86、ARM、MIPS架构体系,支持CDH、HDP、Hadoop、KDP等存储引擎,助力企业构筑自主可控的数字基础设施。
持续加码研发投入,赋能数字中国建设发展,科杰科技坚持技术自主创新,深入行业、深入客户,以领先的数字化产品,多业态复杂场景和最佳实践方法论提供持续服务的数据体系。未来,科杰科技将在湖仓一体、多架构统一纳管、多模数据处理、DataOps、Data Fabric、Active Metadata Management、Data Mesh等大数据行业核心技术领域发力,以高度产品化的能力为大型企业数字化转型提供大数据底座能力,在数字化时代保持行业领先地位。