项目背景及目标

为高质量贯彻落实以客户为中心的思想，提升江西农信各农商银行面向客户的服务能力，填补传统银行数据的缺口，提升客户风险评级的质量、产品创新的能力、客户营销的效果，迫切需要研发一套支持外部多数据源接入、整合、实时查询、计费统计服务的高可靠，高效率，全行统一的外部数据整合系统。通过引入高价值的外部数据，实现行内客户信息和行外客户高价值信息的深度融合，以便进一步丰富客户信息，为客户标签、客户画像提供数据支持，并实现高质量的客户细分，有效支持泛金融科技的客户信用评级、客户营销决策等智能创新服务。

项目主要目标是：

一、多种数据源接入及统一服务。第三方数据的统一接入管理，并进行标准化转换，统一行内接口服务使用规范，对外部数据接口变化、数据源变更、多数据源混合调用等场景进行隔离，保障行内应用接口服务规范、统一、稳定。

二、数据路由管理。对数据服务的内外部接口转换、调用缓存策略、组合批量模式等进行快速配置。

三、落地数据安全管控。提供访问鉴权、加密解密等功能，保障内外部数据传输过程中的数据安全。

四、计量计价。维护各家三方数据供应商的计费成本，对各接口调用情况进行多维度统计分析，生成统计报表与对账清单。

五、系统需确保高可靠和高效响应。系统面向各类交易系统提供实时查询服务，服务的范围广，接入的渠道多，可靠性要求等同实时交易系统，同时必须保障查询响应速度。

项目方案

本系统架构设计的目标是支持全行所有交易、管理系统对外部数据的多场景、多组合、多模式的查询服务，实现外部数据调用服务的集中化、标准化管理和服务。因此，系统需要确保高可靠、高性能、可扩展能力。同时，要求既能提供API接入服务，还要能提供前端管理、统计、分析、计费等功能服务，总体设计如下图所示：

项目主要建设内容可分为接口集成服务、数据接口服务和管理应用服务三部分，其中接口集成服务建设将创建第三方合作渠道的数据接入及内部整合规范，以及数据接口的产品化管理，实现各类数据的实时/非实时接入和数据质量管理，同时建立产品数据缓存机制，不仅满足多业务场景的应用数据服务，也有效节省服务成本。数据接口服务将建立行内应用服务统一规范，并通过数据产品的灵活组合满足应用服务的多样化需求。管理应用服务建设将提供可视化便捷操作界面，降低数据接入门槛，提升数据接入效率。提供随接入随测试的在线动态测试能力，检验接口是否接入成功，操作简单，故障定位精确，大幅度减少测试成本。提供可视化看板，多视角全方位综合管控外部数据服务和运行情况。灵活配置不同数据源、调用接口的成本费用，支持不同计费模式，定期生成统计分析报表，提供对账支持。

整体框架大致分为展现层、应用服务层、系统支撑层、数据基础层和基础设施层五个层次，其中：

展现层：通过系统展现层，由门户首页，数据资源服务管理和用户管理等组成，业务用户可以通过门户首页、数据资源查询系统现有数据资源，并对具体数据资源进行详细信息查询及管理。

应用服务层：主要是在通用支撑层基础上搭建的业务功能模块，通过通用业务层提供的支撑，定制实现不同业务功能模块的需求。如服务管理、应用系统管理、供应商管理等业务。

系统支撑层：主要包括实现系统的通用构件，如组织机构管理、用户管理、权限管理、日志管理和系统设置等。通过复用这些通用组件加快开发过程，从而使主要的开发任务集中于核心业务功能。

数据资源层：主要包括统一接入库、服务调用库、服务管理库和应用系统库，并提供同一标准化开放接口对这些数据库进行统一集中管控。

基础设施层：其底层是服务器、存储、网络等构成的IT基础设施层，为监控系统提供基础支撑环境。

创新点

项目独创了外部数据资源的产品化管理设计思路，将数据资源的供应商、数据类型、调用策略、缓存策略、计费策略等属性进行产品化封装配置，不仅实现了应用服务接口的标准化，同时极大地提升了应用服务的时效性和安全性，有效地节约了数据服务成本。

一、接口统一管家

实现对外部数据源的统一管理，并进行标准化转换，对内屏蔽技术差异，规范输入输出，数据业务字段清晰明确，各类数据接口有序管理，保障接口服务便捷稳定。

二、智能路由热切换

服务接口路由策略丰富，包括自定义时长的数据缓存、调用负载比例、接口优先级、费用性价比、响应耗时等多项衡量指标，实现自动路由选择及热切换，多数据源灵活调度，解决服务使用中外部供应商导致的服务质量下降，数据资源浪费，企业品牌声誉受损等问题，使得数据资源更加高效利用。

三、一站式快速接入

适应各类主流接口规范及调用传输方式，覆盖广泛加解密算法，提供可视化便捷操作界面，降低数据接入门槛，提升数据接入效率。

四、在线动态测试

随接入随测试，检验接口是否接入成功，操作简单，故障定位精确，可大幅度减少测试成本。

五、数据实时监控

通过可视化看板，多视角全方位综合管控外部数据服务情况，多样化、专业化的直观可视图表。

六、计量计价

灵活配置不同数据源、调用接口的成本费用，支持不同计费模式，定期生成统计分析报表，提供对账支持。

技术实现特点

系统基于J2EE技术架构，采用微服务框架进行开发，采用基于组件的方式来设计、开发、组装和部署企业应用系统。选用Spring Boot + Mybatis主流技术架构和快速迭代开发的设计理念，前端选用JavaMVVM库－Vue轻量级的框架，实现前后端分离。技术特点分析如下：

一、可扩展、高可靠。集群模式架构，可灵活扩展，当集群节点故障时，对业务无任何影响，恢复过程中，用户无感知，能保障业务连续性。

二、分层设计的微服务体系架构。整体框架大致分为展现层、应用服务层、系统支撑层、数据基础层和基础设施层五个层次。高内聚低耦合的组件化设计思路，支持系统功能快速拓展，连续性的独立开发和独立部署，提升项目建设效率及系统持续集成能力。

三、接入高效。针对外部各类接口不同接口规范，接入整合统一的应用服务技术标准，实现返回状态、数据字典等统一映射，极大提升行内各类应用系统接入的开发联调效率。

项目过程管理

一、项目成本和工期管理

项目整体投入人员为40人月，工期共为8个月。

项目实施共分为三个批次进行，*****阶段主要搭建基本系统，并完成部份外部数据的接入，达到提供部分数据服务、系统自身维护功能完善的效果，周期为5个月，较为顺利且按计划上线；第二阶段主要实现系统应用功能丰富，包括接口配置及展示、权限管理、集成功能、运维功能等，周期为1个月。第三阶段是支持各外部接口及行内应用渠道接入，目前已经接入各类运营商数据接口、互联网风控数据接口、资金证券数据接口等，服务行内的渠道有线上快贷、互联网金融APP （E百福）、手机银行、网上银行、资金、财富等系统。

二、项目组织管理

1. 人员管理

项目实施中项目组人员积极主动的完成相关工作，主动配合，充分发挥不怕苦不怕累的精神，按时按质量完成工作，保障了项目的如期上线

2.服务水平

项目实施中项目组成员以高可靠、高性能为目标，坚持用户体验为中心，持续提升项目质量。

3.沟通配合

 项目实施中，采用了定期周例会、月总结、季汇报以及不定期讨论的方法，立足全行IT架构规划，积极主动与相关系统和业务人员进行沟通，从项目实施中及项目结果看，沟通效率高，相互配合好。

4.项目风险和控制评价

 项目在建设中，项目组内根据多年的行业经验及现场的状况，对可能出现的风险进行了充分的评估及规避。项目评价主要是以业务人员的满意度为核心，所有接入的业务，可靠性、响应性能及用户操作体验都获得了认可。

三、项目交付物

项目过程中的解决方案、业务需求、功能需求、设计文档、测试计划报告、上线及操作手册、运维手册等文档均达到了管理质量要求。

运营情况

系统上线稳定运营已经半年，系统运行稳定，提供7*24的无故障服务。期间快速接入了多家运营商的客户核验、风控服务等接口，互联网客户信用风险服务等接口，资金证券期货行情数据服务等接口，同时支撑了江西省民政厅的个人银行信息调用服务，以及行内线上快贷、互联网金融APP （E百福）、手机银行、网上银行、资金、财富等系统的接入，直接提供了联机交易服务，根据实际运营情况监控显示，前端响应效率达到毫秒级，可靠性是零故障，这为后续大范围的数据服务接入及行内渠道应用奠定了坚实的基础，为我行金融创新业务的开展提供了有效的支持。

项目成效

项目上线已经半年，不但提升了外部数据资源使用效率，节约了费用成本，友好的客户体验，均获得了高度认可，也经受住了大数据量时的高性能、高可靠的考验。成效如下：

经济效益方面： 系统接入各类外部数据接口进行整合，提供丰富的服务接口路由策略，包括自定义时长的数据缓存、调用负载比例、接口优先级、费用性价比、响应耗时等多项衡量指标，实现自动路由选择及热切换，多数据源灵活调度，其中通过数据产品支持跨应用使用的缓存机制，分析近半年运营情况，已节约数据服务成本超过20%，使得数据资源更加高效利用。

社会效益方面：系统提供的标准化接口整合，屏蔽各类外部数据接口差异，统一规范接口管理，适应各类鉴权机制及加密算法，统一数据字典规范映射，支持独立接口开发、测试、维护，随接入随测试模式快速定位排查故障，极大的提高了行内渠道应用接入效率和稳定性，大大降低其接入开发的工作量，技术人员反响积极。

经验总结

在整个项目研发过程中，为了降低对其他需服务系统的影响，提高项目研发的质量，以及提高服务接入的效率和规范，积累的经验有：

一、制定标准极其重要。标准包括外部数据接口接入整合转换标准、服务接口统一标准、系统内调用接口标准、数据存储标准、项目开发标准、系统集成标准。各类标准的制定，极大的提高项目开发质量、接口开发效率和服务接入效率，有效的保障了项目提前交付。

二、项目过程管理不容懈怠。在项目研发过程中，碰到了很多的难题，各类标准制定、各类需求整合及评审、架构方案设计、性能benchmark等都是从0到1的过程，然而，我们始终坚持，提升用户体验为核心，不断持续优化系统整合服务能力、接入体验及使用体验、系统性能，这是整个团队对项目过程管理的严格把控不可或缺的。

三、架构优化及性能优化经验需不断积累。项目建设优化过程中，架构及性能优化涉及到接口转换测试设计、缓存策略设计、服务接口策略设计、数据解析及存储策略设计、索引策略设计等，需要持续深入分析总结。