一、项目背景

当前以大数据、云计算、AI、5G、物联网等为代表的数字新基建正在改变金融业。数据作为一种新型生产要素，对数据资产的有效管理已成为银行发展和数字化转型面临的新课题。面对海量的数据增长和复杂的业务模式，金融机构管理数据资产面临着处理效率低下、安全要求复杂、资产价值难以评估等诸多挑战，而人工智能等新型技术发展为应对这一挑战带来了新的契机。

在此背景下，陕西农信积极利用AI技术探索对数据资产的智能化管理，围绕“管理平台为支撑、AI技术为驱动、自动化流程为保障”三个要点，通过关联规则挖掘、分词和词性标注、支持向量机等语义识别、文本处理类人工智能技术的应用，推动数据资产管理手段的升级与创新，有效提升数据资产管理效率，助力传统数据资产管理模式的智能化升级，实现数据服务模式的创新发展。

二、项目方案

1.项目目标

为解决数据资产管理面临的痛点问题，通过探索传统数据资产管理平台与人工智能的技术融合，实现数据资产管理智能化转型，主要包括以下几方面的建设目标：

一是多场景应用探索，实现数据资产管理的智能化。结合数据资产管理痛点问题，探索AI技术应用场景，基于我社AI中台自主研发数据标准管理、数据资产盘点、数据安全分类分级及数据资产搜索等智能化模型，实现数据资产管理的智能化。

二是构建数据资产智能化管理平台，提高数据资产管理效率。结合智能化场景，完成全栈信创的数据资产管理平台建设，建立数据资产目录，形成全行统一的数据服务入口，结合智能搜索和知识图谱等提高数据资产管理效率，帮助业务人员、数据开发人员快速了解和查找数据，提高数据获取率。

三是通过数据资产管理机制的不断优化，提升数据资产精细化管理能力。通过智能化功能与自动化管理流程的对接，解决数据资产管理过程中人工参与度高、线下流程复杂等问题。建立数据资产盘点、发布、应用和评价机制，联合业务部门和各级机构，形成多方参与的数据资产运营模式，提升数据资产精细化管理能力。

2.技术架构

智能化数据资产管理架构由三部分组成，依次为数据资源采集、智能引擎、数据资产智能化管理平台，如图1所示。

图1 智能化数据资产管理模式

（1）数据源采集

以行内各个源系统、湖仓一体化平台、数据应用类系统为数据源，通过文件传输、数据库连接、模板采集等方式，获取行内应用类数据、接口类数据、元数据、集成类数据和管理类数据。全要素、应采尽采的数据资源底座，为数据资产管理提供基础，为使用人员提供稳定、准确、全面的数据资产服务。

（2）智能模型引擎

智能模型引擎是数据资产管理的智能化转型的关键。通过使用行内AI中台，利用包含语义识别（ChatGLM-6B）、文本处理（BGE-M3）、分词（JieBa）等多种AI技术，自主研发多个智能模型，针对数据资产管理中繁琐耗时的场景，包括数据标准管理、数据资产盘点、数据安全分类分级和数据资产搜索等多个场景提供智能化服务。结合自动化流程，极大缩减了人工成本，提升数据资产管理人员工作效率。

（3）数据资产智能化管理平台

数据资产管理平台是智能化数据管理模式的载体，按照组件化、服务化的理念开展建设，实现数据资产的盘点、分析、治理、运营和使用，促进数据要素有序流通、高效配置，提升数据资产供给、流通、应用、管理、运营，驱动业务和产品创新，充分释放数据价值。

3.业务功能

数据资产智能化管理平台主要功能包括数据资产盘点、数据资产管控、数据安全管理、数据资产运营等模块，面向多方群体使用，功能架构图如下图2所示：

图2功能架构

①数据资产盘点功能

基于AI中台完成数据资产自动盘点模型引擎开发，通过智能数据资产盘点功能，对数据资源语义进行分析、理解数据资源的含义，自动对数据资源从数据使用视角、技术使用视角和业务使用视角，进行分类挂载数据资产目录，简化了传统繁琐的手动分类与登记流程，提高了数据资产识别的准确性与效率。主要包括元数据盘点、数据标准盘点、数据模型盘点、数据质量规则盘点、标签/指标盘点等多个盘点功能，不仅满足了对存量数据的盘点需要，更实现了后续新增数据资产自动化盘点的要求。

图3数据资产盘点流程

②数据资产管控功能

（1）数据标准与模型管理

实现从模型设计、智能对标、标准申请、模型审批到数据库脚本部署全线上化管理。在模型设计过程中，开发人员可通过标准智能对标功能，自动将模型属性与数据标准词库进行智能对比，实现大批量的标准化对标工作。也可通过智能推荐功能，推荐最适合的数据标准，辅助开发人员做出更加合理的选择。数据资产管理人员仅进行数据标准新增与模型审核相关工作，极大提升管理人员工作效率和准确性。

图4数据标准智能对标过程

（2）数据质量管理

数据质量管理，通过数据质量检测引擎DQ、流程控制引擎BPM、定时调度框架Quartz等技术，通过后台提前预设的数据质量检核规则，定期有效地监督和审查数据质量，将审查的结果记录于数据资产管控功能的数据质量查询模块中，同时对发现的质量问题进行闭环跟进管理。

（3）数据资产目录管理

数据资产目录生成后，系统通过词向量算法对目录进行拆分，用户在进行资产搜索时，可快速实现数据资产目录的匹配查询，用户可根据自身查阅习惯自定义数据资产目录，支持多视角目录创建、多层级目录下钻等方式。

③数据安全管理功能

数据安全管理是通过对各类数据资产进行安全分类分级打标，结合自动化数据资产采集流程，通过智能安全分类分级打标功能，对海量数据资产进行自动化和智能化的分类与分级，结合人工审核和修正，确保分类分级的准确性和可靠性。同时，根据不同等级的权限要求，对数据查看、使用进行权限控制，并使用数据脱敏工具对敏感字段进行脱敏展示。

图5数据安全分类分级流程

系统具备数据资产分类分级结果对外输出能力，以查询接口或数据文件方式将数据资产分类分级结果输出至其他系统，同时数据安全审计功能实时监测各个系统调用数据安全分类分级服务的频率，及时发现并预警潜在的安全风险。

④数据资产展示功能

根据用户的浏览记录和个人收藏内容，通过智能分析用户的操作日志，推荐用户可能感兴趣的数据资产内容，提示用户数据资产的变化影响。以“搜索一下，数据全知道”为体验目标，实现组合查询、模糊匹配、语义匹配、热度排序和智能推荐等搜索功能。根据用户的浏览记录和个人收藏内容，结合查询内容推荐关联程度较高的查询结果。通过多维度的查询条件、智能化的搜索功能以及样例数据展示等功能，为用户提供便捷的查询体验。

⑤数据资产运营功能

数据资产运营功能主要包括数据资产应用情况分析和数据资产价值评估两部分。一方面通过监控各项数据资产的使用情况、服务的调用情况，为后续系统功能完善、优化数据资产分类、提升数据资产质量提供可信的依据。另一方面基于一定的要素对数据资产的价值进行量化评价，用以衡量数字化转型、数据应用建设领域的投入与回报。

三、创新点

结合我社多年来在数据标准落地、数据资产盘点和数据安全分类分级打标等场景的实施经验，沉淀了丰富的专业知识体系，能够准确描述特定条件下决策过程，并以数据预处理的方式，为智能模型提供更加精准、高效的输入数据，从而强化模型的识别能力，避免算法在识别过程中偏离正确的方向，进一步提高智能模型预测的准确性和稳定性。同时，通过自动化、智能化的管理流程，减少人为错误，解决了传统数据资产管理模式中效率低下、标准不一致等问题，提高了数据资产管理的效率与质量，实现数据资产管理智能化转型。

1.智能化的数据资产盘点

针对增量数据资产的盘点，通过采用向量模型BGE-M3与JieBa算法结合对数据项的表字段信息、代码信息、血缘关系信息、落标信息、数据质量信息等要素进行分词聚类，得到对应主题词概率分布，结合在人工盘点的过程中，沉淀总结的数据资产盘点专家规则，生成数据资产注册模型，快速实现新增数据资产的主题域分类，完成新增数据资产的盘点工作。通过注册模型的应用，极大提高了数据资产盘点的效率，降低人工投入成本，提升了数据资产管理的质效。

2.智能化的数据标准对标

平台采用自然语言处理ChatGLM-6B、词向量JieBa等智能化算法，构建智能对标模型。精准捕捉并解析各类数据标准规范，自动将元数据与标准进行匹配与校验，从而确保数据标准的一致性和规范性。首先对元数据通过自然语义解析进行拆分，其次基于词向量模型的词移距离与编辑距离算法将相应的单词和标准词库进行向量化分析，实现元数据与数据标准的准确映射。将算法与规则嵌入到数据模型设计中，在数据库设计阶段快速完成表字段中文名称智能对标，完成后对数据类型、数据长度、枚举值等信息与数据标准词库进行一致性与关联性匹配，快速实现所有库表字段的数据标准落地。

3.智能化的安全分类分级

根据监管机构发布的数据安全分类分级指南和我社分类分级管理规范的细化规则，明确分类分级基本原则和定级标准，形成适合我社实际情况的完整参考规则库。同时平台结合内容识别TF-IDF、语义分析ChatGLM-6B和文本聚类LSTM等算法，一方面通过无监督机器学习的方式，对原始数据进行主题聚类，再将聚类结果作为标注样本，实施有监督机器学习，提取合理的词组，生成关键字分类规则库。另一方面通过内容识别引擎和规则库对数据字段级语义属性与数值属性进行分级建模，形成分级规则库。通过整合分类分级规则库，形成数据安全分类分级引擎，快速完成所有数据资产的分类分级标记。

4.智能化的数据资产查询

智能查询采用RAG模型和TF-IDF与LSTM算法叠加，LSTM算法将数据资产目录按照类型拆分成相应的词向量索引，通过RAG模型对通过搜索引擎从全量资产中检索出的文段片段进行预处理，以确保进入查询模型的格式与内容检索索引中的格式兼容，TF-IDF算法根据相关性评分对检索结果进行排序，选择最相关的内容返回给用户。对比传统依照关键词匹配和简单逻辑判断的搜索模式，智能查询能够更好地理解用户的查询意图，为用户提供更为精准的服务体验。

四、技术实现特点及优势

1.基于统一技术底座研发，实现自下而上的自主可控体系

智能化数据资产管理平台采用我社“开发平台+分布式技术平台+信创云+AI中台”自下而上的信创体系建设。一方面平台开发使用行内统一开发平台确保开发技术栈的相对统一，技术规范、数据标准等的有效落地；分布式技术平台确保各类技术组件、中间件等在运行态的标准统一，信创云保障基础软硬件符合信创要求。另一方面基于我社自研AI中台，模型开发过程中的数据处理、特征构建、算法运行、性能评估等步骤，均按照我社应用建模标准规范完成。总之，智能化的数据资产管理平台建设按照我社自主可控的总体技术路线要求建设，不受限于成熟产品和技术绑定。

2.多个智能引擎协同工作，满足不同应用场景需求

通过整合机器学习、深度学习、自然语言处理、强化学习等多种智能技术，在面对不同场景复杂的功能任务时，根据各智能引擎的专长进行分配。平台中使用的ChatGLM-6B引擎能精准捕捉并解析各类数据标准、数据安全分类分级规范，自动将元数据与数据/安全分类标准进行匹配与校验；BGE-M3与JieBa算法结合实现文本的精准分类，实现数据资产盘点与数据安全的主题域分类和分级挂载；LSTM算法与TF-IDF算法的结合实现智能信息检索和文本分类以及元数据的关键词提取等。通过多引擎在不同模型下的组合应用，满足不同智能化应用场景需求，为数据资产管理的智能化奠定基础。

3.多技术融合应用，提高平台的服务能力

数据资产智能化管理平台的建设，一方面创新性的使用微前端技术，将数据中台、数据平台及数据应用类系统的服务能力、前端资源进行充分抽象和整合，形成服务目录对业务、技术等多方群体提供服务。另一方面基于数据资产盘点和分析的成果，以API的方式，将数据血脉解析图、数据安全分类分级结果、指标趋势等数据以服务化的形式输出给各源系统和数据平台使用。

五、项目过程管理

项目建设从2022年5月份启动，从智能场景研究、智能平台建设、平台运营三个方面开展工作。一是在智能场景研究方面，建设了智能对标、智能搜索、智能资产盘点等多个机器学习模型，于2022年12月完成；二是2023年1月份启动数据资产智能化管理平台建设，将智能模型嵌入到平台的多个功能场景中，于2023年12月投产上线，实现数据资产管理的智能化；三是持续开展数据资产运营工作，通过对数据资产查询、应用情况进行持续跟踪和分析，不断提升数据资产精细化管理能力。

六、运营情况

数据资产智能化管理平台建设投产后，运营情况主要体现在以下几方面：

（1）通过智能化手段完成我社153110个标准的盘点以及数据安全分类分级打标；实现551个数据标签、3817个内部指标、21157个监管指标的管理；完成150余个信息系统约205191张表、1450058个字段的盘点；完成384支数据服务的盘点与纳管。在系统建设期间，使用智能对标模型同步完成了5个新建系统，近3万个字段的数据标准对标落地，节省了5人月的人力成本。

（2）实现核心、信贷、网贷、互金、中间业务、客户中心等20余个重要业务系统，约10万条业务及技术规则梳理，基本形成符合我社实际的数据质量检核规则库。

（3）系统上线的3多月来，全省已有超过8000余用户开通账号访问权限，日均访问人数约20000余人，日均交易量3.5万余笔，API查询类服务平均响应时间750毫秒、报表类查询服务平均响应时间2秒。生产服务器集群中各应用服务器CPU资源使用率在25%左右、内存资源使用率在33%左右，数据库服务器CPU资源使用率在15%左右、内存资源使用率在25%左右。系统各项运行指标整体正常，用户使用情况良好。

七、项目成效

1.节约人力投入成本

通过人工智能技术在数据资产管理中的应用，极大提高了数据资产管理的效率，节约人力投入成本。在数据标准管理方面，借助智能对标模型，实现了对源系统非标字段的自动化、智能化标准匹配。经统计，自智能对标模型应用以来，新增数据标准的申请率从100%降低至20%，每一万个字段的对标工作量由原来的5人天降低至现在的1人天，大幅减轻数据标准管理人员工作负担，提高了数据标准的一致性；在数据盘点与安全分类分级方面，通过自动化、智能化的数据盘点方式，百万量级的数据资产梳理、分类和分级的时间由3个月缩减至0.5个月，极大提高了数据资产管理的效率和准确性。

2.提升数据获取率

通过智能化搜索模型等降低数据资产查询和使用难度，帮助业务人员、数据开发人员快速了解和查找数据资产，提高数据资产获取率。通过对平台上线后的使用情况分析调研，数据资产日均查询次数从1.5万余笔增至3.2万余笔，使用数据满意度提升30%以上，极大促进了数据资产的高效利用与价值的深度挖掘；运维人员数据提取工单量较去年降低40%，较大程度缓解了运维人员的工作压力；开发人员可便捷通过平台查询数据标准、数据字典、数据模型等元数据，提升了开发工作效率。

3.提高数据应用能力

通过数据资产管理智能化平台的不断推广使用，业务人员能够更全面、高效地认知与应用数据资产。一是在信贷管理领域，业务人员通过资产查询功能了解内外部数据，形成精准客户画像，对客户信用风险、市场风险等进行线上评估，构建贷前授信模型，信贷审批时间平均缩短了50%以上，同时构建了贷中风险预警、贷款回访、贷后催收等模型，建立贷款的全生命周期监控与管理。以2024年3月份贷中风险预警模型结果来看，预计6月底前将发生逾期的贷款金额为23亿元，经客户经理及时介入贷中管理，有效化解不良风险涉及金额8亿元。二是在风险防控方面，构建了反洗钱排序、垒大户、贷中风险监测等风险检测机器学习模型，相比原规则模型，风险识别准确率平均提高30%以上，较大程度降低了反洗钱、审计条线业务人员的工作量。三是在客户管理方面，业务人员依托智能模型对数据资产进行深入分析与挖掘，成功开发出高净值客户流失预测模型。该模型预测准确率达88.9%、涉及资产5472万元，按照10%挽留成功率计算，月均减少资产流失500万元左右。

八、经验总结

本项目以数字经济背景下银行数据资产管理为背景，立足于数据资产高效管理的实际需要，基于陕西农信自身AI中台、开发平台、分布式技术平台，依托人工智能先进技术，构建了数据资产智能化管理模式。项目从数据标准管理、数据模型管理、数据安全管理和数据资产管理与应用等方面进行了创新，有效提升了数据资产价值挖掘的广度与深度，降低了数据资产管理人员工作负担、提高数据资产管理质效。

数据资产智能化管理模式的构建，是人工智能技术与金融业务的深度融合，项目的成功投产标志着陕西农信数据资产管理迈上了新的台阶，也为中小银行数据资产管理智能化转型提供了切实可行的落地实践案例，具有较好的借鉴意义。