2024年7月 艾瑞咨询公司对国内数据治理行业进行了研究,访问了国内多位大中型企业数据治理相关负责人,深度剖析中国企业在数字化转型过程中面临到的核心数据问题后,重磅发布《2024中国企业数据治理白皮书》(以下简称“白皮书”)。
白皮书指出,企业数据建设是一项系统工程,需要解析业务现象背后的需求原因,针对性地实现落地,才能帮助企业善用数据资产,充分释放数据价值,进一步为实践提供指导。数据工程建设可分为咨询、落地、应用、管理四大环节。本文将围绕数据工程的落地环节展开详细介绍。
落地环节是企业进行数据建设闭环管理的第二步,白皮书指出落地环节,基于数据工程咨询成果,落地业务数据地图并开发业务指标、主数据模型、风控模型、审计模型,完善数据管理,支撑数据应用。
数据工程的落地环节,是数据建设的具体实践,通过一站式的数据集成、处理、指标/模型开发等全栈能力,将前序咨询成果实实在在地落地实施,其包括八大落地内容:业务数据地图(数据资产)落地、价值地图落地、主数据管理与分发、业务指标开发、主题模型构建、风控模型开发、审计模型开发和知识资产落地。
1
业务数据地图(数据资产)落地
业务数据地图以业务流程视角构建企业业务数据与流程关系的模型。基于咨询阶段的梳理成果,可自动生成业务责任矩阵、数据责任矩阵、实体/属性以及实体关系,同时快速实现多源数据汇聚、数据标准处理、业务流程表落地、数据质量稽核、数据安全管控、数据血缘生成和全业务流程构建,实现业务数据地图(数据资产)落地。
多源数据汇聚
通过数据集成能力实现各类主流关系型数据库、大数据仓库和文件系统等多源数据接入。
数据标准化处理
对原始数据进行过滤、去重、转换、关联回填等标准化操作,将数据转换成符合系统定义的标准数据的格式,并对数据集进行关键信息补全。
业务流程表落地
即业务数据地图模型物化为业务流程表的过程。可通过ODS层来完善业务数据地图模型的取数过程、质量规则配置、存储策略及调度策略配置等。
数据质量稽核
基于业务数据调研梳理的数据质量规则,构建质量稽核任务,并在业务数据地图模型落地时同步落地。
数据安全管控
基于业务数据调研梳理时梳理的分级、分类等安全规则,在数据发布为资产时自动绑定数据安全策略。
数据血缘生成
随着业务流程表的落地,可自动生成数据血缘,以图形化的方式展示数据的流转方向。
业务流程表落地
年终工作总结是对过去一年、某一时期或某项工作的情况(包括成绩、经验和存在的问题)的总回顾、评价和结论。
2
价值地图落地
结合业务域数据地图与业务流数据地图的落地成果,将业务流融合组织和财务属性,能够快速落地企业的业务价值地图模型,赋能企业运营过程可视化应用建设,帮助企业及时深入地分析业务流各环节成本和效益。
基于价值地图咨询阶段成果,支持EXCEL模式和画布模式落地价值地图。
EXCEL模式
通过在模板填写数据后导入,自动生成业务流程价值体系。
画布模式
通过组件化挂载新增价值节点和端到端流程节点实现快速创建。
3
主数据管理与分发
基于主数据的调研咨询成果,能够实现主数据快速接入与处理,以及一键同步咨询阶段梳理的主数据模型并建立映射、构建灵活的分发规则以及对主数据的全生命周期管理。
按照以下路径进行开发落地:
主数据快速接入与处理
多源主数据快速接入,全面的数据标准化处理能力,让咨询阶段梳理的数据标准能够真正落实。
咨询成果一键同步
咨询阶段梳理的主数据模型可一键同步,通过可视化的方式与来源数据建立映射关系。
灵活的分发规则
根据不同业务场景定义主数据分发范围、方式,支持失败重发,并可通过日志查看分发内容。
业务流程表落地
年终工作总结是对过去一年、某一时期或某项工作的情况(包括成绩、经验和存在的问题)的总回顾、评价和结论。
4
业务指标开发
基于业务指标咨询成果,形成业务指标地图、梳理定义业务指标属性、构建指标责任矩阵,为指标应用奠定基础。
按照以下路径进行开发落地:
咨询结果一键同步至指标开发
在咨询阶段梳理构建的业务指标可全量/批量/单独同步至指标管理平台进行进一步的指标审核与模型开发,无缝衔接。
指标审核到发布一站式指标开发
通过审核后的指标方可进入开发阶段,避免无效投入,指标开发全流程通过配置化操作即可完成,降低开发门槛。
指标构建全链路血缘关系自动生成
指标数据从原始表→标准表→主题表→维度表&事实表→汇总表→应用指标,全过程血缘关系(字段级)清晰可溯源。
指标数据一键发布为数据资产
发布成数据资产的指标数据可在数据资产管理平台被检索、被申请,提供API接口快速供各业务部门/第三方厂商使用。
5
主题模型构建
主题模型围绕实体,将跨域的实体数据在同一个粒度基础上组织归纳起来。基于主题模型咨询成果,以全程可视化配置完成企业主题模型建设、形成主题画像。通过整合和分析企业内外部的数据为管理层提供更全面、准确的信息,有助于制定科学合理的战略规划和决策,是企业数字化转型和业务创新的重要基础。
按照以下路径进行开发落地:
实体落地与关联
基于主题模型咨询成果,创建业务数据地图中的实体和属性。
主题模型构建
基于主题模型咨询成果,围绕实体创建主题逻辑模型,当主题表单表无法满足存储需要时,可关联创建主题子表和主题扩展表。
主题模型构建
基于主题模型咨询成果,围绕实体创建主题逻辑模型,当主题表单表无法满足存储需要时,可关联创建主题子表和主题扩展表。
主题画像
主题画像基于主题模型为企业提供丰富、直观的数据和信息,帮助企业进行数据驱动的决策。通过对主题画像的深入分析,企业可以制定更加科学和有效的战略,提高决策的准确性和成功率。
6
风控模型开发
完成风控咨询后可快速实现成果落地,立足大数据视角通过风险模型对业务数据进行监测和预警,及时发现业务开展过程中的风险操作/不合规操作状况并进行闭环管控。同时,在风控管理过程中会沉淀出风控指标库、风险分析模型库及风险库,形成企业风控合规管理生态,持续为风控监管赋能。
按照以下路径进行开发落地:
业务数据采集汇聚
基于风控目标和咨询成果,随着业务数据地图落地汇聚风控相关业务数据,结合企业现行风控监测指标,分层分类地落地风险指标体系。
风险分析模型构建
基于风控咨询阶段梳理的风险分类和风险项创建风险分析模型,模型创建时可关联风险分类与指标。
风险数据关联分析
以风控咨询结果作为风险管控落地的入参依据,通过智能化算子编排的方式快速实现风险分析模型构建。
风险分析阈值设置
根据风控指标类型、风控阈值区间判定风险项的风险等级,触发对应风险后将根据风险等级落在不同风险区。
风险模型库
随着风险模型开发,企业也将逐步沉淀各类风险模型资产,持续为企业风控监管赋能。
7
审计模型开发
基于审计咨询成果,以大数据技术为基础的审计分析引擎为支撑,打通流程、数据壁垒,从线索分析、数据模型构建为重点,沉淀审计知识,构建审计资源,沉淀审计模型,形成审计知识库,为企业审计提供模型及知识基础,赋能审计应用,促进审计业务创新。
按照以下路径进行开发落地:
审计数据采集汇聚
基于审计项目和咨询成果,随着业务数据地图落地汇聚审计相关业务数据。
审计分析模型开发
以审计咨询结果作为审计模型落地的入参依据,通过智能化算子编排的方式快速实现审计分析模型构建。
审计模型线索分析
基于审计分析模型运行识别的疑似线索数据进行审计线索分析,同时也支持自定义分析数据,以图表和明细数据的方式分析展示。
项目审计疑点标注
对于可疑的数据进行疑点数据标注,可生成工单指派专人进行后续的跟踪和处理。
审计分析模型库
随着审计分析模型开发,企业也将逐步沉淀审计模型资产和审计线索、疑点知识,为企业后续审计项目不断赋能。
8
知识资产落地
随着前七项数据工程的陆续落地,企业将逐步沉淀丰富的主题、指标、文档等数据知识资产。通过AI大模型驱动知识资产库,让用户能够通过自然语言的方式进行对答形式的数据和知识查询,降低知识数据在获取、使用的门槛和效率方面的挑战,为决策者和业务人员带来前所未有的数据分析体验。
知识资产落地应用包括:
问数-指标智能问答
可通过对话方式,查询分析指标及表格数据,生成分析报告和数据仪表盘等,例如快速查询某段时间内集团营收分布情况、预算执行情况、人才引进情况等。
知信-企业智能知识库
对企业内规章制度、管理规范、产品文档、操作手册、各类档案/案例等知识资产进行加工,借助大模型的意图理解、逻辑推理及内容生成等能力,提高经验传递效率,减少因认知偏差带来的成本损耗。
落地是企业数据建设的核心环节工作,而无缝衔接咨询成果与开发落地是企业数据工程的前提条件,成熟的数据引擎是企业数据工程的必要支撑,全面的数据配置能力是企业数据工程的基础保障。基于数据工程咨询成果,通过业务数据地图(数据资产)落地、价值地图落地、主数据管理与分发、业务指标开发、主题模型构建、风控模型开发、审计模型开发和知识资产落地共同组成数据工程-落地环节,完善数据管理,支撑数据应用。
欢迎点击下图,申请使用体验海睿思最新产品吧!