目前江西农信传统应用系统多数采用国外厂商提供的传统数据库，随着应用系统上云的工作深入开展，数据库上云已成为限制整体上云进展的重要因素，因此江西农信开始探索传统数据库上云路径。

数据库上云需要做到既能够支持各类传统数据库的数据迁移，又要大大缩短应用的停服时间，保持业务不停服或控制在分钟级别。江西农信成立数据库上云项目组，牵头和协调技术专家、开发人员、测试团队等多方的资源聚焦数据迁移项目，制定了数据库平滑迁移上云解决方案。数据迁移以外包录入系统为试点，于2022年5月启动实施，11月底完成迁移方案的整理和方案的验证，2023年1月完成数据迁移上云。外包录入系统数据迁移成功，初步形成了围绕传统数据库迁移上云的整体可实施方案，并已经辐射到江西农信信贷业务系统、中间业务系统、手机银行等关键业务系统，逐步开始进行传统数据库的平滑迁移上云。

一、数据库上云面临的难点

在江西农信全面打造“数字农商”的背景下，在全速推进科技兴行、创新驱动的引领下，在《全省农商银行数字化转型实施方案》的指导下，伴随着信息技术地不断发展，传统的数据库已无法适应业务发展，以及未来业务的高可用要求。

传统的数据库已经成为制约业务可持续和高可用的瓶颈点。一是业务连续性保障能力弱，数据库单点，容易成为瓶颈，横向扩展受限，系统弹性不足，高可用表现欠佳，多活实现困难。二是数据迁移影响范围大，传统数据库一般都提供了原生的迁移工具，然而这些工具都只能进行全量数据拷贝，为了保证迁移数据一致性，要求业务在数据迁移之前需要停止服务，在数据量比较大的情况下，整个应用停服时间可能高达几个小时甚至数天，这对业务影响极大。

二、数据库上云方案

对于任何金融机构而言，数据库积累着大量无价的数据资产，数据库的安全稳定是系统的“生命线”。为此，我们认为数据库迁移需要遵循以下原则。一是数据迁移前，应对数据进行备份以防任何潜在的风险导致数据丢失。二是验证数据的复杂度，明确迁移数据的对象，并对数据质量进行评估和检测。三是制定好数据迁移的方案和策略。四是使用正确的工具对数据进行基本分析、数据质量验证及完整测试。五是数据迁移应降低对业务的影响，尽量做到迁移无感知。六是需要建立完备的灾难逃逸机制。根据数据库迁移原则及上云目标，我们制定了一套成熟稳定的数据库平滑迁移方案，该方案依托数据传输平台（DTS），实现了关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助力构建安全、可扩展、高可用的数据架构。

图 系统架构

我们通过DTS平台，结合ADAM智能分析，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，降低数据库和应用迁移的风险、技术难度和实施周期，助力源数据库迁移上云。整体实施过程包含如下几个步骤。

（1）数据库评估。开展目标库选型，对迁移工作量和成本进行预估。

源库画像分析：对数据库采集器采集到的源库数据进行多维度评估分析，包括源库的性能、容量、特性、外部依赖、对象详情和全景搜索。其中全景分析提供对象的关联关系、特征标识等信息。

目标库选型建议：统计分析多种目标库版本对源库的对象兼容性和SQL兼容性，智能分析源库使用场景，给出推荐的目标库。

目标库兼容评估：针对某个目标库版本，提供源库与目标库版本之间的对象兼容度、SQL兼容度和对象改造点详情，给出目标库建议小规格和预估费用，提示迁移风险。

（2）数据库改造迁移。将源库结构迁移到目标库中，通过智能转换和手动订正相结合的方式，对无法兼容的DDL进行改造。

（3）应用改造评估。解决迁移数据库后的应用改造问题，主要包括应用动态改造和应用静态改造。

应用动态改造：针对单个应用进行多维度分析，输出应用画像分析报告，实时收集迁移应用的数据库访问SQL，进行兼容性分析并将分析结果实时反馈。实时收集迁移应用的数据库访问返回数据和性能数据，保证迁移后的应用在功能和性能上可以与原应用一致。

应用静态改造：通过静态SQL代码扫描方式，定位应用对数据库对象的访问点，自动识别应用中因为数据库迁移需要改变的代码块，给出改造建议。

三、方案优势

实施方案运用成熟的技术，旨在保证数据迁移的高效性，同时兼顾数据一致性，保证业务的可靠性。

首先，丰富多样。支持多种同构或异构数据源之间的迁移，支持Oracle、MySQL、PostgreSQL、DB2及常见的NoSQL，基本覆盖了江西农信应用系统的传统数据库。对于异构数据源之间的迁移，数据传输服务支持结构对象定义的转化。DTS支持多种传输方式，包括数据迁移、实时数据订阅及数据实时同步，其中实时数据订阅及数据实时同步均为实时数据传输方式。数据实时同步支持两个数据源之间的单向/双向同步，适用于数据异地灾备、异地多活、应用就近访问、查询报表分流、实时数据仓库等应用场景。

其次，高性能。该方案保证每条迁移或同步链路都能拥有良好的传输性能。对于数据迁移，底层采用了多种性能优化措施，全量数据迁移高峰期时性能可以达到70MB/s，20万的TPS。相对于传统的数据同步，DTS的实时同步功能能够将并发粒度缩小到事务级别，能够并发同步同张表的更新数据，从而极大地提升同步性能。高峰期时，数据同步性能可以达到3万RPS。

第三，断点续传。提供链路断点续传功能，解决网络或系统异常等导致的链路中断问题，且定期监测所有链路的状态，一旦发现链路异常，先尝试自动修复重启。如果链路需要用户介入修复，用户可以直接在控制台修复并重启链路。

第四，安全可靠。平台底层为服务集群，如果集群发生故障，控制中心能够将所有任务快速切换，链路稳定性高。平台对部分传输链路提供7×24小时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。平台各模块间采用安全传输协议及安全Token认证，有效地保障数据传输的可靠性。

四、应用成效与亮点

传统数据库平滑迁移上云解决方案如期达成业务双活、敏捷响应、降本增效的业务要求，整个切换割接过程对业务影响为分钟级，基本实现了业务无感知。

1.业务不停服或分钟级停服

银行业务数据迁移技术难度较高，业务影响面大，业务系统不停服上云迁移的主要难点在于云上云下异构数据库实时同步上，需要支持不同数据结构类型的数据库数据映射，源数据库业务数据的实时获取与复制，同步过程中数据冲突及解决、数据传输中断下的数据丢失，异构数据库之间数据一致性的稽核校验等。江西农信通过传统数据库平滑迁移上云解决方案，实现了数据上云过程中对业务影响基本无感，做到了不停服或者分钟级的停服。此次创新实践，为行业数字化转型提供了可供借鉴的新思路。

2.云上云下数据实时同步满足实际复杂的业务要求

数据在线迁移过程中，业务系统随时可能存在对数据表结构的修改，例如表结构字段新增、字段删除等，在这种特殊的业务场景下进行数据迁移，既要保证业务连续性，又要保证数据的实时同步和数据一致性。该方案能够满足实际复杂的业务环境下，实现自动化数据校验，及时发现和提示数据的差异的数量和原因，给人工处理数据提供决策依据，保证了业务数据的稳定迁移。

实践证明，江西农信传统数据库平滑迁移上云方案，在业务高峰期对源库进行存量数据迁移，对源库服务器带来高20%的性能开销。在业务低峰期进行存量数据迁移，对源库的服务器性能开销影响能降到10%以下，增量数据迁移对源库服务器的性能基本无开销，并且在迁移过程中迁移速度能达到10分钟/千万级，整体方案体现出可靠性、迁移快速高效的特点。