一、项目背景及目标

数字化时代，数据资源逐渐成为证券行业发展的核心资产，智慧型、数据化将是证券行业未来主流的运营模式。有效的数据资源管理是证券公司数字化能力的重要体现，也是数据价值充分发挥的前提。

信通院发布的《数据资产管理实践白皮书（6.0版）》中将数据资产管理分为数据资源化、数据资产化两个环节，数据资源化通过将原始数据转变数据资源，使数据具备一定的潜在价值，是数据资产化的必要前提。数据资源化包括数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理等活动职能。

公司不断提升数据管理能力，通过发布数据战略,制定完善的数据管理制度和规范，加强数据质量控制和安全管理，并充分利用先进的技术工具和方法来优化数据管理流程和提高数据使用效率,努力“构建多源汇聚、关联融合、高效共享和有序开发利用的数据资源体系”。

公司数据资源管理聚焦于元数据管理、主数据管理、数据血缘分析、数据质量管理、数据标准管理、数据安全管理、数据运维管理。数据资源资产化是一个复杂的过程，不是靠一个系统能解决的，当前系统中为数据资产化预留了管理属性字段，期待公司尽早实现数据资产化。

目前数据资源目录采用数据商品化的理念，以电商检索商品的使用方式，提供基于全部数据资源的快速检索，提供多维度分类、业务标签，编制结构化、知识化的数源资源目录，便于从数据目录快速定位全面权威的数据资源。在合规和安全的前提下对各业务部门开放检索，帮助业务人员探索数据资源，助力业务发展。

二、创新点

1.数据资源范围广

通过数据资源管理平台成功整合了全公司范围内重点的数据资源，逐步实现全域数据资产管理，协同化数据资产管理。目前数据资源类型包括：数据库、数据表、函数、存储过程、数据血缘、报表信息、数据标准、数据指标、业务术语、DataAPI等，补充了离线/实时ETL配置、外购数据、数据补充注释说明、数据调度信息、数据探查知识库、数据跑批日志、数据质量日志等数据。覆盖数据范围广，整合信息全面。

2.数据资源标签化

通过标签化、多维分类，数据资源被赋予多个维度的标签，如数据属性、来源、使用场景等，从而提高数据的可检索性和可理解性。此外，标签化还支持动态更新，确保数据资源的分类和描述与业务发展同步，提高了数据使用的便捷性和效率。

3.分类分级自动化

基于算法和规则系统自动识别数据的重要性和敏感性，实现数据的自动分类和分级。这一过程大大提高了分类分级的速度和效率。在自动化分类分级的基础上，支持人工复核，允许数据管理人员或业务专家对自动分类分级的结果进行审查和确认。这不仅增加了分类分级结果的准确性和可靠性，而且确保了数据管理的合规性和安全性。此外人工复核确认的过程会作为机器学习模型的反馈，帮助系统不断学习和优化分类分级的算法。

4.数据血缘全联通

公司的数据血缘解析方案基于常见数据库及信创类数据库的元数据解析，融入数据ETL关系、加工脚本关系、调度作业和报表系统的元数据信息进行联通血缘分析。通过数据采集、开发、应用全链路的血缘分析，提供完整的数据从采集到应用的完整加工链路展示，能够清晰地追踪数据的来源和去向。同时，平台中数据标准和数据质量联动绑定，数据指标和数据库字段、报表字段关联绑定，各类数据资源通过血缘或者绑定关系各资源可互相转跳查询，做到整体“一张网”。通过血缘汇总到系统层面汇成数据地图，做到整体“一张图”。这不仅保障了数据的完整性和准确性，还有助于在数据出现问题时迅速定位和解决。

5.数据服务自助化

系统通过区分数据资源与使用人员、权属人员的关系，提供授权范围内得数据资源的访问边界，同时结合不同用户的浏览偏好和数据资源的访问热度，实现了差异化、个性化的数据资源检索排序。系统根据数据生产者、数据使用者、数据管理者不同的角色视角，面向数据生产者提供“技术字典”模块，面向数据使用者提供“数据资源目录”模块，面向数据管理提供“资源管理”模块，并提供“数据专题”，聚合面向数据使用者的数据全生命周期资料。使得不同角色不同使用目标的用户都能快速、精准地检索和访问所需的数据资源，降低了数据的检索和使用门槛。

6.数据知识社区化

平台将分散的数据知识集中管理，通过对每个资源开放互动评论功能，增强了用户参与度，实现了数据资源管理的开放化和个性化。用户可以对每项数据资源进行评论、打分和回复，根据用户反馈动态调整数据检索排序和推荐算法，确保系统能够优先展示用户评价高、反馈积极的资源。

三、项目技术方案

为提高公司数据管理精细化程度、提升公司数据资源查找便捷性，项目选取成熟稳定的技术方案，确保平台的稳定性和可扩展性。重点对面向业务人员的数据资源目录，面向技术人员的技术字典，面向数据管理人员的治理工具做开发建设，以各类数据资产元数据为实体，以数据血缘为关系，构建公司数据资源管理网络关系图和知识库。核心组件信创适配，包括国产服务器、国产操作系统、国产数据库、国产中间件等基础设施，确保软件在国产基础设施中平稳运行，满足全栈改造单轨运行的监管要求。具体建设技术方案如下：

前端技术

采用Vue.js、Node.js、html/CSS等技术。

后端技术

系统后端技术采用SpringBoot、Spring Cloud框架，采用前后端分离的微服务架构，对外暴露restful规范的API接口，服务内部采用微服务架构中的Feign组件进行服务间通讯调用。

开发模式以及运行环境

1)采用前后端分离的开发模式，独立开发；

2)使用国产服务器部署服务；

3)部署服务时将前端资源打包并入后台部署，统一在一个WEB服务中运行。

4)以信创架构为基础建设，能够完整支持国产硬件、操作系统、中间件、数据库，并具有自主知识产权，持续促进底层能力的提升。

四、项目过程管理

数据资源管理平台项目开发建设过程包括调研准备、基础环境搭建、平台开发、信创全面适配、项目测试、生产部署、试运行、正式运行等阶段。数据资源管理平台的核心是数据汇集和数据资源目录编制，盘点的过程如下：

1.采集元数据：在登记完数据资产基本信息后，接下来关键一步是采集数据资产的元数据。元数据是用来描述数据资产的业务含义、结构、属性等信息的数据。

2.清洗元数据：通过对元数据数据注释补充、归纳整理，提高元数据质量，使得元数据可读，帮助更好地理解和使用数据资产。

3.数据分类分级：在元数据的基础上做数据分类分级。数据分类分级是数据安全治理领域的一个专业名词，包括数据分类和数据分级两个部分。数据分类是指将相同属性或特征的数据归集在一起，形成不同的类别，方便人们通过类别来对数据进行查询、识别、管理、保护和使用。数据分类更多是从业务角度或数据管理的角度出发，例如：行业维度、业务领域维度、数据来源维度、共享维度、数据开放维度等，根据这些维度，将具有相同属性或特征的数据按照一定的原则和方法进行归类。数据分级是根据数据的敏感程度和数据遭到篡改、破坏、泄露或非法利用后对受害者的影响程度，按照一定的原则和方法进行定义。数据分级本质上就是数据敏感维度的数据分类。

4.业务视角梳理数据资源：从业务角度出发，对公司的各类数据资源进行全面的梳理，包括打标签、对数据进行业务分类（多维度、多视角分类）。帮助全面了解公司的数据资产状况和需求。

5.技术视角盘点系统数据：从技术的角度出发，对公司的系统数据进行全面的盘点，了解数据的存储、结构和属性等信息。并通过外部文件，算法补充注释等信息。

6.数据资产确权登记：根据数据盘点结果，在数据资产目录中完成数据资产概要信息的登记。这个步骤中，数据资产登记主要包含三个方面信息：业务方面、技术方面、管理方面。

7.编制数据资产目录：通过合理方便的方式对公司开发数据资产梳理结果，形式多样，包括不限于提供数据资产目录白皮书、数据资产目录检索平台，开放查询接口等。

8.持续优化和更新：随着公司业务的变化和数据量的增加，需要不断优化和更新数据资产目录，确保其准确性和完整性。

五、运营情况

公司的数据资源管理平台面向公司数据开发分析人员和与数据强相关的业务人员开放，成为员工日常工作中不可或缺的工具。平台根据员工需求和公司业务发展，逐步对接业务、管理、内控等90余套系统，通过多标签、多分类、多专题的方法整合来自不同源的数据，实现数据资源化，从而为后续的数据资产化打下坚实基础。

数据资源管理平台也在不断完善数据治理策略，包括针对公司数据管理制度、规范开发上线相应的管理流程，平台仍需要不断进行数据资产目录的编制和更新，并不断完善和丰富自动化分类分级策略、智能化的血缘分析。接下来，平台计划打通数据开发、数据发布流程，提供数据申请、数据共享功能，并对接公司数据自助BI系统，实现一站式数据“查找、申请、使用”。通过这些运营策略，公司的数据资源管理平台能够为公司的数字化转型和智慧型运营提供强有力的支持，实现数据资源的高效管理和价值最大化。

六、项目成效

公司的数据资源管理平台通过其综合的技术方案和精细的运营管理，已展现出显著的成效。平台自上线以来，用户活跃度持续上升，日访问量稳定，数据服务请求量显著增加。业务部门对平台的功能和服务给予了高度评价，认为平台极大提高了工作效率，降低了数据获取成本。数据治理工作取得了显著成效，数据开放共享得到明显提升，数据使用效率大幅提高。

七、经验总结

项目建设经验总结表明，公司的数据资源管理平台通过一系列精心规划和建设运营的步骤，实现了数据资源的有效管理和利用。简单总结如下：

1.公司确立清晰的数据战略和管理制度，为数据治理提供指导和规范；

2.采用成熟稳定的技术架构，确保系统的灵活性、扩展性和安全性；

3.实施数据资源化和资产化，通过多标签、多分类、多专题的方法，提高数据的可检索性和可理解性；

4.强化数据血缘分析和自助化服务，通过智能化工具和用户交互功能，提升用户体验和数据检索效率；

5.持续进行数据资产目录的编制和更新，确保数据资产的准确性和完整性。

这些经验不仅为公司内部提供了宝贵的数据管理知识，也为同行业其他公司提供了可借鉴的实践案例，展现了数据资源管理平台建设的成功路径。