一、项目背景及目标

由于全行数据散落在各个业务系统中，没有进行有效整合，形成竖井式架构，造成多个信息孤岛，且整体架构缺少一个稳定的、抗源变化的保存细粒度历史数据的数据层，无法支撑未来共享性应用。同时，缺少统一的基础数据标准和应用分析标准，而且针对数据质量问题没有归纳总结，缺少反馈机制，导致长期存在各类数据质量问题。针对以上情况，江苏银行企业级数据治理平台拟采用基于元数据的数据血缘关系分析方法及大数据挖掘技术进行挖掘分析，逐步优化行内数据架构,建立全行数据质量治理和管理体系，统一数据标准，打破业务板块壁垒，提高数据使用率，为精准营销、智能风控、智慧经营和监管合规赋能，实现高水平、高效率、高质量的数据质量支撑。

二、创新点

本平台为全行数据治理平台，对全行系统数据进行有效分类整合，支持数据流向跟踪及溯源，为监管报送数据提供基础。同时按监管要求对行内数据进行检核，对数据质量结果每月进行线上化通报，并将问题数据推送至各业务部门，紧密科技与业务联系，建立数据质量问题发现、定位、下发、跟踪、解决的全流程机制，实现数据治理线上化流程。统一数据标准，打破业务板块壁垒，支持各业务部门进行客户价值分析、客户行为分析、货款偿还预测分析、客户信用政策分析、业务关联分析等数据挖掘应用。

模式创新方面：

（1）扫描分析指定源系统表数据；

（2）内置多项数据校验规则；

（3）自动化生成数据质量问题报告；

（4）问题下发与行内GRC联动，逾期将发预警信息，与考核挂钩；

（5）支持周期性动态检查。

技术创新方面：

（1）从系统源头对标落标，根本上杜绝数据质量问题；

（2）利用元数据血缘分析技术快速定位问题数据的来源和加工过程；

（3）通过数据关联关系向下追踪，快速定位下游应用；

（4）提供统一的数据模型和元数据标准，实现元数据的重复利用；

（5）元数据冷热度分析企业常用数据、僵死数据。

三、项目技术方案

由于全行的数据散落在各个业务系统中，没有进行有效整合，形成竖井式架构，造成多个信息孤岛，整体架构少一个稳定的、抗源变化的保存细粒度历史数据的数据层，无法支撑未来共享性应用。同时，缺少统一的应用分析标准，如各集巿系统指标存在重复、在保有存量的同时，不断产生新的指标(增量)、集市指标派生无法实现、指标逻辑视图(指标分类)不一致等。缺少统一的基础数据标准，如各系统存在冗余数据、存在业务含义一致，名称定义不一致的属性、存在含义不一致，名称定义一致的情况、业务代码定义混乱等。而且，针对数据质量问题没有归纳并总结，缺少反馈机制，导致长期存在各类数据质量问题，共享数据不一致、不准确等。

本平台在设计实施过程中主要划分为数据层、逻辑层、应用层、表现层，且前后端分离的开发模式。数据层：MyBatis和JPA，逻辑层：SpringMVC，应用层（中间件）：Websphere，表现层：Angular、Bootstrap及Echarts。并在数据血缘分析方面采用基于元数据的数据血缘关系分析方法及大数据挖掘技术开发设计元数据管理系统，针对以上情况进行挖掘分析。

（1）差异分析，通过对元数据对象关联的其他对象或参与过程、不同元数据对象之间进行分析，就可以看到它们之间的差异和关联情况，包括名字、属性以及数据血缘对系统其他部分的影响等。通过差异分析，业务人员可以对相似的指标从业务定义、数据生成等多个方向进行分析；技术人员可以针对相似的物理对象进行信息辨别。

（2）数据体检，判定系统和数据的健康情况，是否存在大量的冗余数据、无效数据、无来源数据、重复计算、系统资源浪费等问题。

（3）问题定位分析，采用图形方式展示了以某个元数据为起始节点，其后与其有关系的所有元数据，反应数据的流向与加工过程，分析数据流向和数据转换中错误的定位。

（4）指标波动分析，当某个指标出现较大的波动时，可进行溯源分析，判断是由哪条数据发生变化所导致的。

在数据的处理过程中，从数据源头到终的数据生成，每个环节都可能会导致出现数据质量的问题。比如我们数据源本身数据质量不高，在后续的处理环节中如果没有进行数据质量的检测和处理，那么这个数据信息终流转到我们的目标表，它的数据质量也是不高的。也有可能在某个环节的数据处理中，我们对数据进行了一些不恰当的处理，导致后续环节的数据质量变得糟糕。因此，通过分析数据的血缘关系，我们能在每个环节注意数据质量的检测和处理，更高效、直接地提高企业数据质量。

四、项目过程管理

1.需求评估：2022.4.20 -2022.4.29企业级数据治理过程实施线上功能化的可行性评估；

2.功能梳理：2022.5.6-2022.5.10 结合数据治理日常工作内容，确定线上化功能点，包括规则库建立、系统校验、业务归属、数据拆分、数据监测等，编写需求文档；

3.架构设计：2022.5.11-2022.5.20 系统架构设计；

4.开发实施：2022.5.22 -2022.7.13 系统功能模块开发；

5.模块测试：2022.7.14-2022.7.19 功能联调测试；

6.系统试运行：2022.7.20。

五、运营情况

该平台于2022年7月20号上线试运行，由大数据部负责运维，已推广至总行11个业务部门应用。目前已运行近10个月，系统批量稳定，各项运行指标均无异常，各业务部门均积极参与，配合数据治理项目组有效整改、落实数据质量问题。系统运行期间，共征集到业务部门3轮，共10余条反馈意见，现均已完成系统优化，如（1）业务数据归属归口管理部门不准确；（2）前台页面的数据量下载上限值较小；（3）待治理问题清单需新增预警提示等。

六、项目成效

本平台实现了数据治理过程中数据质量问题的发现、定位、下发、跟踪、解决的全流程闭环管理。同时，不断健全数据治理体系，增强数据管理能力，加强数据质量控制，为数据综合应用奠定坚实基础。也进一步扩展了数据范围，容纳了新数据，实现对业务数据的全覆盖，当未来有新的业务需求时，保证了数据架构的稳定性。支撑全行级的数据应用，数据平台可提供全行级的细粒度数据，满足未来建设决策支持系统如：客户关系管理、资产负债管理、管理会计、信用风险管理、管理驾驶舱等业务数据模型。支撑数据挖掘，支持各业务部门进行客户价值分析、客户行为分析、货款偿还预测分析、客户信用政策分析、业务关联分析等数据挖掘应用。

七、经验总结

数据的科学有效治理是转型发展的前提，江苏银行数据治理坚持“治用并举、以用促治”原则，从数据标准和质量入手，构建形成企业级数据质量管理体系，推进数据资产化运营，构建从数据资产供给端到数据资产消费端的供求关系闭环管理。以数据的终价值驱动数据全链路运营过程，从价值倒推数据资产建设需要，通过数据红利推动业务部门数据治理和优化。建立全行数据质量治理和管理体系，为精准营销、智能风控、智慧经营和监管合规赋能，实现高水平、高效率、高质量的数据质量支撑。