项目背景及目标 

商用数据库软件是商业银行IT系统的关键组成部分，银行业务要求数据库系统具有高可靠性、高性能和高安全性。与国外成熟产品相比，国产数据库产品市场占有率较低，尤其缺少金融行业的项目实践和生产运维的案例。以成都农商银行为代表的中小区域性农村金融机构一直非常关注国内基础软件技术的发展，以安全可靠与节约成本为出发点，启动了“交易双活场景下国产数据库在银行重要信息系统的应用”工作，着力数据库产品国产化的实践。

通过我行灾难备份体系项目的建设与后续实际运维，我行信息科技团队积累了丰富的基础层面建设经验、运维经验和技术底蕴，其中的多项技术如存储底层复制、网络大二层、密集波分、跨中心虚拟化迁移等均可用于双活数据中心建设。与此同时，在前期对国产数据库深入POC测试的基础上，对国产数据库在生产上的实际落地已成为可能。因此本次项目主要目标为：

1、建设我行双活数据中心基础资源平台，提供主机、网络、存储、备份、数据库的双活服务能力。

2、在我行综合前端应用系统中落地国产数据库，并形成双活服务能力，深度探索交易双活场景下国产数据库在银行重要信息系统的实际应用。

项目方案 

我行数据中心双活基础平台的整体视图如下图所示。

存储层面，采用底层阵列级同步技术SRDF/METRO，核心是利用存储阵列自身的数据块复制技术实现对数据的远程复制，任意存储故障情况下，均可满足系统RPO为0。

网络层面，采用SDN技术实现双活关键网络技术大二层、流控制、资源池化、统一管理等，同时针对数据库层面的网络，单独采用了低延时交换机技术，以确保网络通信的高效和稳定。

虚拟化层面，分别在两个数据中心机房提供完全独立的1:1等量虚拟化资源池，为上层应用和数据库提供计算节点。

通过在第三站点设置仲裁中心，在极端情况下对网络、SAN存储、NAS存储进行仲裁，确保在“脑裂”情况下设备运行正常。

数据库层面，在国产数据库选型原则的指导下，我行通过前期的技术选型与深度测试、后期各环节紧密集成两个维度，分别实现了既定的目标。在调研阶段，我行选取的国产数据库，是国内仅有的几家掌握全部源代码，拥有完全自主知识产权的国产数据库产品。从DM7版本开始支持4个节点的DMRAC集群。结合数据库集群的技术特点，我行有针对性的做了相关测试，包括：预防性脑裂测试、高并发压力测试、跨平台数据迁移兼容性测试。

从技术要求方面，DMRAC数据库集群保证了事务的强一致性，实现了业务高可用和跨站点冗余，同时代码自主可控也有效的避免了安全漏洞。从实施要求方面，充分结合项目的可行性，考虑到对现有应用系统改造及对接方面都需要对连接驱动和兼容性做充分测试验证，部署要实现自动化，同时参数配置要符合佳实践和安全基线要求。在技术人员上，主要由行内数据库工程师、厂商技术人员和第三方维保商配合完成。在配套工具方面，比较依赖开源的监控工具实现DMRAC的监控管理。

创新点 

本项目在双活数据中心基础之上国产数据库的真实落地，涉及众多技术的深度整合，如双活数据中心的关键技术全局负载均衡、DNS、VXLAN、SDN、存储阵列复制、密集波分、各项仲裁技术等，以及国产数据库如何与之匹配。我行通过深入研究，对存储仲裁、网络仲裁、数据库仲裁等多方仲裁技术进行了有效同步，防止了双活中心下的“脑裂”问题。同时，在重要业务系统上，通过国产RAC的数据库集群，实现了跨站点数据库双活。推进了DB的自主可控，也实现端到端的双活架构。尝试在双活平台下的将国产数据库集群运用到重要业务系统中，这在国内中小法人银行的成功案例中少之又少。

本课题所研究的“交易双活场景下国产数据库在银行重要信息系统的应用”，是将国产数据库和双活平台的各种关键技术，如：负载均衡、业务路由、各层面仲裁控制协调深度融合。同时，做到架构高可用性、业务一致性和连续性充分验证，是一项具有前瞻性的研究。期望为国内中小法人银行探索一条兼顾数据库国产化和业务连续性的佳实践路线。

技术实现特点 

双活平台下各层面在极端故障下的仲裁机制同步是本次项目成功必须解决的关键技术点之一。双中心间两条裸光纤同时故障、单个中心动力环境故障导致整个中心无法使用的情况下，会同时出现网络仲裁、存储仲裁、服务器仲裁、数据库仲裁的情况，终通过各个层面的参数调整，形成了网络仲裁自动感知裸光纤故障、存储仲裁自动感知裸光纤故障、服务器仲裁跟随存储仲裁、数据库仲裁跟随存储仲裁且晚于存储切换、针对所有仲裁均设定了两个中心不同优先级的策略，实现了在极端故障情况下的所有仲裁步调一致，避免了“脑裂”现象，确保了数据一致性。

在业务系统架构中采用达梦数据库，实现数据库持久层。系统与数据库之间采用线程池方式实现session保持，使用Session会话进行数据访问。通过将四节点数据库集群跨站点的部署，实现数据库多个计算节点同时对外提供服务。利用双活架构提供的网络大二层、双活存储这两个层面的条件，将物理上的同城双数据中心，逻辑上当做一个数据中心看待。

达梦RAC（简称DMRAC）是一个单数据库、多实例的集群系统，数据库部署在共享存储上，提供所有节点访问，具有高可用性、高性能的特点。该集群可以处理节点故障、自动隔离故障节点。整个故障应对自动完成，不影响对外正常服务，保证了系统的高可用性。

项目过程管理 

本次项目是对国产数据库在交易双活场景下的实际落地，同时涉及到网络、存储、主机等双活基础平台与上层应用平台建设，需应对多重挑战：

1、实施周期长，需尽量保持核心人员稳定；

2、涉及厂商、集成商众多，管理复杂度高；

3、综合前端应用系统需与国产数据库技术、双活中心的底层架构相关技术紧密无缝集成。

针对上述情况，我行成立了由各条线技术专家和PMO组成的专项团队，严格按照标准项目管理体系进行项目组织，历时一年半，终确保了系统的成功上线，具体实施节点如下：

• T月，下达双活数据中心建设项目任务书。

• T+2月，确定双活数据中心技术路线与方案。

• T+3月，确定国产数据库技术路线的调研、选型和技术方案，完成各厂商POC测试。

• T+6月，双活数据中心基础硬件平台完成搭建，进入架构优化、平台高可用测试阶段。

• T+8月，实现综合前端应用层与国产数据库联调，实现应用部署、调试和功能测试。

• T+10月，完成综合前段系统UAT测试阶段的工作，准备开展性能测试。

• T+12月，完成综合前段系统性能测试阶段的工作，筹备*****次全行投产上线演练。

• T+16月，完成第1-5轮全行模拟投产上线演练。

• T+18月，双活数据中心正式投产，搭载国产数据库的综合前端业务系统正式对外提供服务。

运营情况 

我行超过600个网点全部采用本次采用国产数据库的综合前端应用系统作为柜面业务入口，系统提供存款业务、贷款业务、卡业务、公共管理业务、支付结算、会计核算业务等功能。针对该系统，进行了数次站点级全行网点参与的实际演练，并于2019年4月份成功上线至今已稳定运行半年以上。

项目成效 

通过本次项目建成的交易双活基础平台，将我行灾难恢复能力进一步提升，发生站点级故障时的业务恢复时间从小时级提升至接近无感知，有力的支持了行内的业务连续性开展，避免了故障发生时的业务中断，有着显著的经济效益。同时，通过在此平台上落地综合前端业务系统国产数据库，为同业同类项目的落地提供了宝贵的实战经验，可极大的节省前期选型、测试与后期部署成本，也提升了数据库厂商的产品竞争力。

通过本次交易双活平台建设，彻底改变了之前非双活模式下可能出现的“灾而不备”的风险，极大的提升了业务联连续性，避免了由于平台级故障导致的银行声誉风险。交易双活基础平台之上在关键系统中成功落地国产数据库，将国产数据库和双活平台的各种关键技术如负载均衡、业务路由、各层面仲裁控制协调深度融合，做业务可用性和正确性验证，是一项具有开创意义的研究与实践，丰富和发展了双活架构与国产数据库相结合的理论与佳实践，具有较高的理论价值和实用价值，在同类项目建设中，有着重要的实际参考价值。

经验总结 

针对大型、复杂的项目需要选择适当的组织架构，本次工程由于涉及到众多厂商、集成商的管理，我行采用了项目式与矩阵式相结合的组织架构，大程度提升了管理效率。

针对本次项目涉及多个不同层次技术领域的特点，我行在项目前期进行了各技术层次之间的耦合点深度分析，充分预估了技术难点与风险点，并对项目关键路径上的任务给予了各方面资源有效投入，保障了项目的有序推进。

通过双活中心建设将我行信息系统的灾难恢复等级进行大幅度提升。通过在真实业务上落地国产数据库的应用过程，积累了宝贵的经验。一方面，在前期测试与后期运行中达梦数据库在SQL语句兼容性上与国外商用兼容性很高，在应对高并发、低延时的交易场景下，表现与国外一线数据库的差距正在迅速缩小。另一方面，通过深入测试提供了国产数据库在双活平台下的实践案例，验证了双活平台下业务自愈的有效性。同时，不得不提在DM7的集群节点数、配套监控软件、成功案例和产品技术支持力度上，国产数据库与国外一线数据库产品虽存在一定差距，但不影响产品的主体功能。通过对本课题的研究，丰富了国产数据库在双活架构上的实践经验，具有较高的理论和实际意义，在同业的IT建设中有着重要的参考价值。