一、项目背景及目标

1.1项目背景

近年来随着常熟农商行数字化进程的逐步推进以及业务发展，引入了各类外部数据作为业务决策过程中的辅助，广泛应用于各部门的多种业务场景——尤其是线上业务，而线上业务对外部数据的需求多为实时调用，因此对服务的稳定性和时效性的要求较高。另外人行发布的《征信业务管理办法》将于2022年起正式实行，涉及到大部分数据厂商的换签和调整，因此对现有的外部数据管理平台的接入效率和支撑性能等技术储备提出了更高的要求，在此背景下逐渐形成了建设外部数据平台的需求。

1.2项目目标

外部数据管理平台建设项目的目标是建设适合我行的外部数据管理平台。

1、实现外部数据的统一接入管理。建立完善的外部数据接入管理模块，统一接入和存储第三方外部数据，快速接入和验证数据，建立合理的缓存和数据更新策略。

2、打造统一的外部数据服务渠道。建立统一的外部数据共享机制和服务渠道，为行内业务系统提供高性能数据共享服务，快速构建和发布服务产品，提供高阶服务组件拓展。

3、建立外部数据的集中管控机制。理清外部数据接入和服务现状，外部数据资产规划，建立外部数据集中管控机制和管理办法，提供数据地图、数据服务访问控制、厂商接入管理、数据上下游计费对账、数据后评价、统计查询等功能。

二、创新点

本项目将分散于各部门的不同方式接入、不同质量的外部数据统一化、标准化、平台化集中管理，对包括供应商、数据种类、调用情况、计费统计、缓存策略等进行了分模块功能实现，不仅提高了外部数据的接入效率，也缩短了合作机构换签对接的时间，更节省了成本、保障了服务的稳定性。几大功能模块如下：

1、统计分析：接口调用排名、异常接口排名、数量统计（厂商、接口、业务系统）等平台运行概况；

2、接口管理：包括外部供应商管理、配置化数据接入、数据结构化落地、限流机制、缓存机制、熔断机制、路由配置、标准接口；

3、权限管理：平台访问权限，接入行内员工中心，进行角色设置、管理、分配、权限设置；接口调用权限，按系统、部门等维度灵活控制；

4、计费管理：包括内部计费和外部计费，按厂商、接口、系统、部门、日期等维度灵活生成各类账单；

5、监控预警：业务使用监控，对业务累计查询量、累计查询费用超出预警；服务监控，接口实时服务调用异常监控，心跳监测等；

6、日志查询：通过网页查询系统日志和业务日志；

7、流程审批：接口准入、预算申请等审批流程；

8、数据地图：多维度对接口进行分类，包括产品维度、厂商维度，方便管理者及使用者更好的了解接口，并且对接口设置可替代选择，在接入时可自行设置备用方案；

9、打通资产平台：对平台内涉及接口同步上线到资产平台，通过资产平台整合内外部数据，方便调用人员更好的结合使用；

三、项目技术方案

3.1业务架构

外部数据管理平台作为外部数据的中转，所有数据由外部数据管理平台进行统一管控并为行内系统提供接口服务。

3.2技术架构

3.3业务流程

四、项目过程管理

4.1项目周期及计划

本项目周期分为九个阶段：项目启动、需求分析、系统设计、开发编码、技术测试、业务测试、上线准备、试运行、项目验收。对应整体周，本项目的实际进度计划如下：

项目第一批次：

项目第二批次:

4.2项目组织管理

1、人员管理

项目实施中项目组人员积主动对接配合，在项目正常排期开发同时，安排人员定时复盘回顾，有效解决项目推进中问题，项目对比预期提前上线。

2、服务水平

项目实施中项目组成员确保了解行内管理规定，保证项目组成员遵守行内安全管理、人员管理、环境管理规定。明确服务的优先级，根据自身内部管理流程及联系方式，提供明确、完整、详细的应急流程，持续提升项目质量。

3、沟通配合

项目实施中，采用了定期周例会、月总结、季汇报以及不定期讨论的方法，分阶段开展进度沟通会议，通过周报跟进项目进度，做到对齐进度、需求迭代，同步风险和应对方案。

4、风险处理机制

1）建立风险管理组织，并制定可操作的问题上升机制和风险规避措施；

2）风险管理组织根据问题情况及相应措施分配责任人任务，同时确保责任人按照计划执行了相应活动；

3）风险管理组织确保在周期性的项目例会、阶段评估会议上跟进项目进度及记载项目当前状态；

4）对应规避措施未能奏效的问题或风险，及时调整开发计划。

5、项目交付物

项目过程中的业务需求、服务设计说明书、代码检查报告、测试方案及报告、上线及操作手册、运维手册等文档均达到了管理质量要求。

五、运营情况

目前，外部数据平台已接入200个数据接口，覆盖了多个重要系统，包括进件风控、综合营销中台、综合前置系统、手机银行系统、信贷管理系统、风险预警系统以及开发银行平台等。外部数据平台统一接入管理外部数据，并通过ESB接口治理，将规范化的外部数据提供给下游系统，显著提升了各自的运行效率和数据处理能力。自2023年投入使用以来，平台已累计提供查询服务达1亿1421万次，展示了其在数据处理和服务能力方面的强大实力。这些数据查询服务有效支持了各大系统的运营和决策，提高了整体业务的效率和准确性。

六、项目成效

外部数据平台通过引入接口缓存机制，在2023年度共计减少了372万次查询计费，节省了约31万元。这一机制不仅大幅降低了运营成本，还提升了数据处理的效率。

平台通过对外部数据的统一接入管理，不仅提高了数据使用的效率，还在数据安全管理方面发挥了重要作用。统一管理使得数据的访问和控制更加集中和规范，有效降低了数据泄露和安全风险。

外部数据管理平台——整体展示图：

七、经验总结

外部数据平台项目的建设过程中，取得了不俗的成果，也经历不少困难：

1、数据质量问题：在实际操作中，发现部分外部数据存在质量问题，如数据缺失、重复或格式不一致等。为解决这一问题，需要加强数据质量的监控和评估机制，并对数据进行必要的清洗和整合。

2、平台计算资源不足：随着接口调用量的不断增加，平台在下游系统大规模并发调用时会出现性能瓶颈。为解决这一问题，需要加强计算资源的建设，并对代码审查及性能测试更为严格的把控。

在平台建设的同时，要加强人才培养和团队建设，不仅要有优秀的数据源，也要探索与大数据、人工智能等先进技术的融合，打造更加智能化、自动化的数据平台，加强对数据的深度挖掘和分析，发现更多的商业机会和价值点。