一、项目背景及目标

1.项目背景

2018年5月，银保监会发布《银行业金融机构数据治理指引》，从数据治理架构、数据管理等方面，全方位规范了银行业金融机构数据治理工作，首次将数据治理提高到银行常规管理的战略高度，明确了要将银行数据治理工作常态化、持久化。2021年2月，人民银行印发《金融业数据能力建设指引》，要求“对数据治理系统或平台进行整体建设规划。将数据治理相关组织、制度、流程落实到系统或平台当中”。同年9月，银保监会印发《商业银行监管评级办法》，将数据治理列为商业银行监管评级要素。

数据治理是银行业数字化转型发展过程中面临的重要问题之一，近些年来，随着外部监管政策不断提高银行数据治理工作重要性，山东省农村信用社联合社（以下简称“山东农信”）以赋能业务发展为目标，以数字化转型为主线，提出了“强化数据治理、挖掘数据资产价值”的工作要求，并陆续地开展了一些数据治理工作，虽然取得了一定成效，但在数据模型管控、数据质量管理、数据架构管理、数据标准管理等方面仍有不足。建设数据管控系统，提升数据治理质效，是当前形势的必然选择。

2.项目目标

通过建设基于微服务+大数据技术的数据管控系统，实现对元数据、数据模型及数据字典、数据质量、数据资产目录、数据标准的线上化、流程化管理，为数据治理工作提供系统工具支撑，强化山东农信数据管控能力，推动提升数据使用成效。

二、项目方案

建设基于微服务+大数据技术的数据管控系统，实现对核心、信贷等关键信息系统的元数据等内容的接入，梳理数据资产，构建数据质量规则，并进行相关的规范及制度落地。数据管控系统主要功能范围如下图所示：

1.元数据管理。实现元数据全链路打通，形成一体化元数据管理体系，管控流程与开发流程的深度融合，提高元数据分析与管控能力。元数据管理模块主要实现元数据采集、元数据分析、元数据版本管理、元数据变更流程管理等功能，并可基于元数据进行关系分析，具体包括影响分析、血缘分析、全链路分析等。

2.数据模型及字典管理。实现对于已接入数据管控系统的数据模型和数据字典的查询、变更、分析等功能。

3.数据质量管理。通过对数据质量检核规则进行定义和管理,实现对于数据的质量检查、问题发现、问题解决、问题反馈的工作闭环。主要实现质量规则管理、检核规则执行与监控、质量问题管理、数据质量看板、质量考核与评价等功能。

4.数据标准管理。数据标准管理模块主要实现标准的导入查询、标准映射、版本管理、流程管理、标准应用分析、标准巡检等功能。

5.数据资产目录。提供可视化查询界面、全文检索功能，支持业务人员、技术人员在平台上概览数据资产；支持定义不同的资产类型，满足不同视角下的数据资产展现，包括资产地图、资产盘点、资产审核等功能。

三、创新点

1.以元数据为核心的方法论。基于元数据为数据标准管理、数据质量管理及数据字典管理提供技术支撑，驱动数据标准化、规范化管理，推动全域数据治理。

2.支持提供数据洞察及数据质量管理的融合服务。系统提供了可满足元数据分析、数据建模、数据标准落地、数据质量检核、数据资产管理的统一工作平台，让数据流动可追溯、数据质量可监控、数据资产可识别。

3.构建了数据资产全局统一视图。打通数据资产全生命周期管理链路，方便相关人员了解行内数据资产动态，帮助构建业务知识体系，加快数据驱动、业务赋能进程。

4.实现制度流程的线上化管理。数据管控系统支持数据治理相关制度流程的线上化管理，推进元数据、数据标准、数据质量等管理制度及相关流程的落地实施，强化数据治理流程管控力度。

5.基于微服务架构保障系统架构的灵活性、可扩展性、高可用性，基于Hadoop、Spark等大数据技术实现海量数据的高效检核。

四、技术实现特点及优势

1.基于微服务构建系统

数据管控系统采用“微服务”设计理念构建，基于Spring Cloud技术实现微服务化，支持服务按功能模块划分，快速实现应用横向扩展，基于参数化、构件化的技术手段，保障系统架构的灵活性、可扩展性、高可用性；具备较强的定制化开发能力，满足数据治理特色业务需求。

2.实现海量数据的高效检核

数据管控系统基于Hadoop、Spark、ElasticSearch等大数据技术实现海量数据的高效检核与高效检索。系统采用Hadoop、Spark等大数据技术，能够在3小时内完成近千条检核规则、PB级数据量的质量检核，加快问题数据的暴露速度，提升问题数据处理效率。系统基于Elasticsearch实现对元数据、数据模型、数据资产等内容的快速检索，提升相关人员对数据的洞察能力。

3.采用基于国产商用密码的身份鉴别等方式保障应用安全

数据管控系统采用集群部署方式保障应用高可用，采用基于国产商用密码的身份鉴别、访问控制、日志审计等应用安全管控方式，并支持敏感数据脱敏、数据分类分级等灵活配置，保障数据安全。

4.构建数据治理及数据资产一体化运营体系

数据管控系统产品功能涵盖元数据管理、数据模型及字典管理、技术质量管理、业务质量管理、数据标准管理、数据资产目录管理等，打通了数据治理与数据资产管理路径，实现了数据资产基于元数据等数据要素的自动智能运营体系，构建了数据治理与数据赋能共建共享的良好生态。

5.建立数据质量管理闭环管理流程

山东农信通过数据管控系统建立了涵盖问题数据的发现、分析、解决等过程的数据质量线上闭环跟踪解决管理流程，形成数据全生命周期检核机制，为数据质量监控与问题评估工作提供有效系统支撑。结合全省农商银行多法人架构特点，基于机构树设计用户权限控制体系，在满足不同层级机构数据质量管理需求的前提下保障了不同权限机构间数据的安全隔离。

五、项目过程管理

山东农信于2023年3月完成数据管控系统项目立项，6月启动项目实施，11月完成系统设计、开发、测试等工作，并于2023年12月完成项目投产上线工作。

六、运营情况

山东农信基于微服务+大数据技术的数据管控系统于2023年12月14日完成投产上线，用户涵盖省联社、14家派出机构及110家法人机构数据治理和管理人员。系统上线后，对山东农信数据治理水平的提升发挥了较为显著的推动作用。

1.在元数据管理方面，发布了数据管控系统技术管理规范，规范了各信息系统元数据纳入数据管控系统管理的技术规则、实施指引等内容，建立起数据模型变更管理流程，形成了覆盖项目建设全生命周期的元数据管控流程；通过数据管控系统初步建立起企业级元数据库，系统共计接入2.7万余张表，约91万个字段，梳理明确系统间数据血缘关系6511条。

2.在数据标准管理方面，发布5项数据标准体系及系统落标实施规范，将落标管理嵌入项目开发过程，促进了数据标准落标贯标。

3.在数据资产管理方面，构建数据资产目录，发布数据资产4万余项，形成数据资产管理查询统一视图。

4.在监管合规和数据质量方面，系统实现了对问题数据的闭环全流程管理，开发部署984条数据质量检核规则，截至目前已检核出质量问题356类，发现存量质量问题数据约1.71亿条。后续将持续开展存量数据质量专项治理活动，对问题数据进行整改。

七、项目成效

1.在数据管控方面，随着系统应用，有效提升山东全省农商银行数据整合能力及溯源能力，降低数据壁垒，并对行内元数据等数据要素形成覆盖全生命周期的管控能力。

2.在数据赋能方面，提供统一的数据资产全景视图，可方便业务人员及经营管理人员全局、宏观地了解数据资产动态，科学进行数据资产运营，提升数据驱动业务的能力。

3.在业务发展方面，推动全省农商银行提升数据质量，提升数据服务能力，为全省农商银行高质量发展添砖加瓦。

4.在经营决策方面，使数据更加准确、一致、透明，降低数据使用过程中的采集、开发、管理、沟通成本，使数据使用过程易用、快捷、智能，便于管理层和业务人员更快捷、直观了解信息，做出经营策略。

5.在监管合规方面，基于数据模型管理、数据质量管理、数据标准管理等功能，建立起事前评估、事中管控、事后检核的数据管控机制，推动提升全省农商银行合规管理水平。

八、经验总结

数据治理是银行数字化转型的必经之路，同时，是一项系统性、长期性工作，涵盖组织架构、制度建设、流程管理、技术支撑等多个方面。山东农信将以建设数据管控系统为契机，逐步实现治理常态化、管理流程化、资产智能化的长远目标，以数据为驱动，通过提供更优质的金融服务发挥服务三农的使命。