一、项目背景及目标

（一）项目背景

随着海南省农村信用社联合社综合业务量不断增长，为提升我社生产数据中心风险防范能力，保障生产数据中心信息系统安全、稳定、高效运行，同时提高业务连续性水平，我社依照国家《数据中心设计规范》（GB50174-2017）A级标准在海口市龙华区滨海大道37号建设了新的数据中心--滨海数据中心。根据信息系统设备的使用年限、设备的性能、以及业务系统拓展趋势、业务系统RPO及RTO要求等因素综合考虑分析，在减少业务中断时间以及保证数据不丢失的前提下，形成数据中心信息系统全面迁移切换解决方案，且经过风险评估与方案推演，对数据中心全面切换投产进行指导。

本次信息系统全面迁移切换工作，严格遵守以下信息系统迁移切换准则：

1.保持业务连续性体系，每个信息系统始终保持容灾架构。

2.梳理信息系统之间的依赖关系，同时根据系统RPO、RTO要求，制定信息系统数据迁移方式、系统切换方式、系统切换优先等级。

3.根据信息系统优先等级、技术架构采用优的数据迁移及系统切换方式。

4.“关键任务”的密集数据迁移及切换测试，保证数据迁移方式的正确性及切换时间的可控性。

5.评估信息系统业务拓展趋势，配备冗余硬件资源。

6.制定完善的应急回退方案，做好数据的备份，以防万一。

（二）项目目标

1.结合业界可行、技术成熟的数据迁移技术，制定适合我社信息系统数据迁移及系统切换解决方案，快速、平滑完成信息系统数据全面迁移及切换工作。

2.采用先进、高性能的硬件架构，为适应信息系统拓展趋势提供一个集中、安全、可靠、高I/O性能的硬件设施，提升我社信息系统在新数据中心业务处理能力和业务运营能力。 

3.利用成熟的数据保护措施，保证信息系统7x24稳定运行，保障信息系统迁移切换过程数据安全，降低人为操作失误或病毒袭击给应用系统造成的数据丢失。

4.采用业界先进的网络安全防护工具，保障信息系统迁移切换后应用访问安全及数据访问安全。

5.搭建易扩展的软硬件技术架构，在综合考虑投资成本、信息系统架构的调整与拓展需求等前提下，建设一个长期、易扩展的IT基础架构，满足信息系统数据增长及业务增长需求。

二、项目方案

信息系统全面迁移切换工作主要分为数据迁移、系统切换和网络迁移三部分，数据迁移采用基于存储层、数据库层、或虚拟化应用层的数据复制技术，提前将信息系统的数据异步复制到新数据中心；信息系统切换方式依据小型机及X86两个不同类型的平台，采用小型机高可用切换和X86虚拟化层灾备切换工具完成信息系统的切换工作，切换过程同时保留了同城、异地的灾备架构；网络迁移采用先线路迁移后网关迁移的方案，保证网络整体正式迁移当天不会因为运营商的外界因素影响迁移进度，确保网络正式迁移的稳定平滑以及业务连续性。（白龙数据中心为我社滨海数据中心投产前的主数据中心，兴丹数据中心为我社同城灾备数据中心）

（一）小型机平台迁移及切换

采纳此方案，白龙中心系统切换到滨海新数据中心步骤如下：

滨海新数据中心全新采购部署网络、安全设备、存储及主机设备；

从兴丹同城灾备中心基于存储复制技术同步生产数据到新数据中心；

分批次，暂停白龙系统业务，暂停白龙生产中心-兴丹同城灾备中心-滨海新数据中心存储复制；

启动滨海数据中心信息系统业务并完成业务验证；

部署滨海新数据中心至兴丹数据中心灾备架构。

（二）X86平台系统迁移

采纳此方案，白龙中心X86平台系统切换到科技楼步骤如下：

滨海新数据中心全新采购部署网络、安全设备、存储及主机设备；

从兴丹同城灾备中心基于存储复制技术同步生产数据到新数据中心；

拆除白龙生产中心-兴丹同城灾备中心的存储复制；

部署兴丹同城灾备中心到滨海数据中心灾备（SRM），将信息系统从兴丹同城灾备中心通过vmware SRM切换到滨海新数据中心运行；

利旧白龙x86平台设备到科技楼或兴丹中心。

（三）网络系统整体迁移

网络迁移采用先线路迁移后网关迁移的方案，主要步骤如下：

1.在网络整体迁移滨海新数据中心前两周，先将各网点（含离行）的广域网线路（主线）在下班后分批次迁移到新数据中心的汇聚路由器，然后通过汇聚路由器三层路由回白龙老数据中心的汇聚路由器。网点线路迁移的过程由于可以通过备线上行到兴丹同城灾备中心，所以确保了网点线路迁移的过程业务也是不中断的。

2.在网络整体迁移滨海新数据中心前一周，先将互联网线路以及到各外单位的外联线路在凌晨夜间迁移到新数据中心，然后在通过新数据中心的波分设备二层透传回白龙老数据中心的原外联设备原端口。对于有主备线路的外单位，在迁移前先将业务切换至备线在进行线路迁移，所以可以保证整个迁移过程业务不中断，对于只存在单线路的外单位，只能直接迁移，业务中断控制在30分钟内。

3.提前在滨海新数据中心1:1构建与白龙老数据中心一致的网络架构，各安全域的网络通过波分设备进行二层互通，在白龙老数据中心网络整体正式迁移至滨海新数据中心当晚，通过断开新旧数据中心的三层互联线路以及提升新数据中心的网关VRRP优先级，将网络在秒级单位内切换至新数据中心，同时断开外联线路二层透传回白龙老数据中心的通道，则快速完成了网络的整体迁移。

三、创新点

为了保证新的滨海数据中心本身的业务连续性，基于以下因素考虑，在数据中心内部构建双活存储架构，以实现双读双写的双活存储架构。

1.成熟性：在众多银行成功案例中，在主数据中心构建双活架构的越来越多，是非常成熟稳定的方案

2.可靠性：在滨海数据中心投产前已验证双活存储架构的可靠性，确保整体架构的可靠稳定，同时对业务影响小

存储双活采用的是HDS VSP 5100 VSM（存储虚拟机）实现GAD（Global-Active Device）设备双活功能（业务全部在线）。

如上图所示，GAD能实现双活数据中心，应用数据在两端同时写入2台存储，另外还需要一个quorum设备做仲裁判断。按照上述部署之后，能够实现业务在单个存储故障时不受影响，其中应用层面有cluster软件进行高可靠连续性保护，数据层面有GAD进行高可靠连续性保护。

同时，存储双活数据中心在数据读取时可以分开读取，即本地主机读取本地存储数据，降低延时，提升应用响应速度。

四、技术实现特点

1. 采用存储复制技术完成数据迁移及灾备部署

数据迁移主要采用了HDS UR异步方式，将数据实时同步到滨海新数据中心，切换完成后，再采用HDS UR异步方式完成灾备系统的部署。HDS 通用复制软件Universal Replicator，是基于HDS成熟的通用存储平台实现的异步远程数据复制软件。通过HDS通用存储平台的虚拟化功能，HDS通用复制软件可以实现同构或异构存储系统之间的远程数据复制功能。

目前，HDS的UR软件其独有的时间戳（Timestamp）和一致性组（Consistency Group）技术，是目前存储业界可行且安全的存储系统之间的异步数据备份方案，保证异步处理方式下的数据一致性和完整性，大程度的减少数据的丢失，并被广泛采用。它可以在重复发生的灾难中保护数据，在任何远的距离保持数据库记录被修改顺序的完整性。

2.结合数据库复制、CDP逻辑保护措施，保护关键时间点数据

在业务数据迁移方式中，结合多种数据保护措施，保护关键时点的数据尤其重要。在业务系统数据迁移前，暂停同城灾备中心数据库备机，以及对时点数据提取CDP快照，如数据迁移过程失败，两份时点数据可作为应急回退使用，保障了回退时数据的零丢失。同时，CDP在灾备体系架构中，起到对生产数据实时保护及可追溯作用，防止逻辑错误及认为误操作导致的数据损坏与丢失。

五、项目过程管理

2021年2月，启动项目会议，并成立专门的信息系统全面迁移切换解决方案小组，组成员下设数据中心迁移工作领导指挥小组、实施小组及外部专家支持小组。迁移时间计划为2021年4月27日至7月30日，共分为设备安装与相关工作准备（4月27日～5月30日）、系统迁移（6月1日～6月30日）、白龙机房IT设备搬迁（7月15日～7月30日）三个阶段实施，具体为：

（一）设备安装与相关工作准备

4月27日～5月30日，完成滨海数据中心设备及系统安装部署及相关工作。

（二）系统迁移

6月01日～6月30日，业务系统业务交易及系统性能测试（与系统迁移同步进行）。

6月01日～6月11日，完成完成*****批系统（运维管理与业务管理类）迁移。

6月12日～6月18日，完成第二批系统（7*8小时业务交易类）迁移。

6月25日～7月02日，暂停系统变更。

7月03日～7月12日，完成第三批系统（核心、大前置等重要系统）、整体网络迁移（6月19日-6月24日期间，因系统业务交易测试内容及工作量多未结束，需等待测试结束）。

（三）白龙机房IT设备搬迁

7月15日～7月30日，完成白龙机房可利旧使用的IT设备搬迁至兴丹灾备中心机房用于灾备系统部署。

六、运营情况

2021年下半年，综合业务日均交易量约为354.9万笔，比上月+13.6%，比上年同期+44.8%。

 滨海中心接管业务后，交易监控系统显示，核心系统平均响应时间在60毫秒以内，在正常范围。

七、项目成效

1.关键主机CPU使用率

滨海中心接管业务后，日间交易时段，核心系统在白龙中心及滨海中心运行时CPU均值都低于5%内，峰值低于15%以内。前置系统在白龙中心及滨海灾备中心运行时CPU均值都低于25%内，峰值低于50%以内。

2.系统交易响应时长

滨海中心接管业务后，交易监控系统显示，核心系统平均响应时间在60毫秒以内，在正常范围。

3.核心批处理时长

滨海中心接管业务后，核心系统日终批处理时长在111分钟内，在正常范围。

4.核心系统可承载的并发数

经并发压力测试验证，滨海中心核心系统可并发处理可达到2100TPS,为当前生产高峰值的5-6倍左右。

八、经验总结

在省联社领导的部署与指挥下，我社顺利完成了所有信息系统从白龙中心、鑫汇中心至滨海中心的迁移切换工作。本次迁移切换按照整体切换方案有条不紊进行，切换操作均在计划批次及时间范围内完成。滨海数据中心信息系统对外服务以来各项业务运行正常，系统响应时间正常。

在数据迁移方面，我社通过不断积累起来的数据迁移思路是帮助我社完成数据迁移的前提，通过不断完善数据迁移的规范流程，制定了一套适合我社数据迁移解决方案。在系统切换方面，我社已积累多年灾备演练经验，通过不断完善各系统切换手册及预案，保证了信息系统在各项要求下顺利切换的成功率。

本次迁移切换工作顺利完成，进一步验证了滨海数据中心可全面接管真实业务的预期目标，检验了系统切换操作手册和预案文档的有效性和完整性，同时实现了项目预期目标。在符合监管对业务连续性要求的前提下，提高业务系统处理效率，增强客户体验能力，为客户提供更优质的服务水平。