一、项目背景和建设必要性

目前，我行非结构化数据主要存储在IBM GPFS并行文件系统上，如一体化客服、应用服务网关等业务系统生成的文件。这些非结构化数据的文件数量和容量随着业务规模的发展呈逐年激增的趋势，而这些数据主要存储在传统集中式的块存储上。

这种使用存储的方式灵活性不高同时带来了过高的成本开销。另外，由于和数据库类的应用争抢存储资源，也给这些联机交易类系统带来了一定的性能冲击。为此，我行2018年引入了中低端NAS存储设备，用于存储文件类的数据，为数据的分类存储提供了便利，使得存储的使用方式更趋于合理化。然而，按照我行存储资源池的分级架构建设规划，需要额外建设具备双活能力的高端NAS存储系统，满足GPFS场景中重要业务系统的文件共享需求和同城双活的高可用需求。而现有的中低端NAS存储，可以继续承载GPFS场景中的一般重要业务系统的文件存储需求。

除了非结构化数据存储架构优化之外，我行另一个需要逐步优化的场景是系统间的文件交互。目前，我行使用专门的文件传输工具进行各系统间的文件传递，软件架构较为复杂，同时运维难度也略大。此外，由于各业务系统分布在不同的网络区域，跨区的文件传输流量也会给各区域的边界防火墙带来性能压力。为此，我们可以借助NAS存储构建文件交互平台，不但省去了文件在各系统间的频繁传递，提高业务系统效率，同时，依托NAS存储的多网络区域覆盖能力，可以避免产生跨区流量，进而规避对边界防火墙的性能冲击。

二、项目建设方案和实施进度计划

由于我行首次引入高端NAS双活系统，因此在运维人员技术储备和项目实施技术细节的全面掌控上以及开发人员对NAS存储平台的使用经验上比较欠缺，所以项目立项之初需要进行详细的项目架构规划。

首先，运维中心作为项目的建设部门积极和开发中心进行沟通，收集业务系统使用场景和需求。然后，和业界主流NAS存储厂商以及银行同业进行技术交流，探讨NAS双活平台的使用场景以及技术实现方案。后，选取了在NAS存储双活细分领域领先的两家厂商进行了长达5个月的产品POC测试。在测试的过程中，运维人员全程深度参与，测试用例涵盖6大使用场景以及20个高可用场景。通过详细的测试，不但验证了NAS双活产品可以满足我行的业务需求，也验证了在各种故障场景下，高端NAS双活系统的架构健壮性。同时运维人员也积累了丰富的产品使用经验。

运维中心作为该项目的牵头部门，我们基于前期的产品和技术调研，结合POC测试过程中总结的经验，编制了我行NAS存储使用规范。为了解决开发中心对新的NAS平台使用经验不足的问题，我们将规范进行了宣贯和多次沟通，这也很大程度上保证了该项目的建设质量以及我行应用系统开发的质量。

在完成产品POC之后，项目通过科技三部门的技术方案汇报会，然后通过集采流程完成了招标采购，后完成了NAS存储双活系统的集成上线。整个项目的实施进度计划如下：

1.技术调研和需求收集  2020.6 - 2020.7

2.产品POC测试         2020.8 - 2020.12

3.商务采购流程        2021.1 - 2021.3

4.系统集成调试和上线  2021.4 - 2021.5

三、项目创新点

本项目的创新可以分为管理创新和技术创新两个方面。在管理维度，首先，通过高端双活NAS存储系统的引入，完善了我行NAS文件存储的分级资源池建设，满足了我行业务系统分级建设的需求。中低端NAS存储资源池采用生产中心本地部署模式，满足我行一般重要和较重要业务系统的文件共享需求。高端双活NAS存储资源池满足我行核心系统、重要和重要支撑系统的文件共享需求以及文件跨中心的高可用需求。其次，通过项目建设，近一步优化了我行非结构化数据存储系统架构，不同类型业务数据的存储布局更加合理，实现了降本增效。后，项目建设本身也完成了一次管理创新，通过立项前的深度POC测试，提升了运维人员的技能，运维中心和开发中心的紧密联动也很好地保证了项目建设质量和我行信息系统建设和运维的规范性。

在技术创新方面，*****，同城双中心高端NAS双活是银行业相对较少的实施案例，提升了我行重要业务系统文件类数据的地域级抗风险能力。第二，对于高端存储，我行从物理层面隔离SAN结构化数据和NAS文件类非结构化数据，在提升了存储系统可管理性外也规避了两种不同特性的IO对存储资源的争抢和性能干扰。第三，在高端NAS双活系统实施方面，我们采用四网隔离的方案，实现了业务网、数据复制网、仲裁网和管理网络的分离，提升了网络安全性和性能。此外，双活系统采用了物理主备双仲裁双隔离VLAN的方案，极大提升了双活系统的健壮性。第四，借助双活系统提供的租户特性，实现了不同于其他整体存储切换方案的基于单业务系统的细粒度站点级灾备切换方案。第五，借助NAS系统构建了文件交互平台，在提高业务系统效率的同时，也避免了先前方案中文件传输软件带来的跨区流量，进而规避了对边界网络防火墙的性能冲击。

四、技术方案

按照前期规划，两台高端双活NAS设备分别部署在我行亦庄机房和空港机房，构建同城NAS双活系统，为我行新核心、重要以及重要支撑系统提供文件交互、文件共享服务和文件高可用容灾服务。

图一是高端NAS双活系统网络拓扑图。共涉及4个网络平面，分别是业务网络平面、复制网络平面、仲裁网络平面以及管理网络平面。每张网络的拓扑和功能介绍如下：

1.业务网络平面

高端NAS双活系统同时接入新核心区和业务三区，其中A、B控接入业务三区；C、D控接入新核心区，形成两个故障漂移组（fail group）。每个控制器通过2条10GbE光纤接入业务交换机，形成一个20GbE的端口组（LACP）。接入同一网络区域的控制器之间采用A-A（双active）互备的工作模式，当任一个控制器出现硬件故障或业务网络中断时，存储系统会自动将业务地址切换到另一个活动的控制器上，切换时间控制在5秒以内，对前端业务系统可以做到无感知。

2.复制网络平面

每台存储通过4个40GbE的全互联连接接入2台40GbE的内部复制交换机，两中心的4台复制交换机通过2条平行连接的10GbE DWDM线路连接，构建了NAS同城双活数据复制链路。通过存储系统内部的配置，共形成8条负载均衡的冗余ISL（Inter Switch Link）数据复制链路。

3.仲裁网络平面

每台存储设备通过2块仲裁网卡，和2台仲裁物理服务器（HA主备架构）构建成2个独立vlan的高可用仲裁网络。对于仲裁模块，从仲裁网络链路到仲裁软件，再到底层的仲裁服务器均实现了双冗余，规避了仲裁系统的单点故障，从而极大提升了仲裁的高可用性。

4.管理网络平面

每台存储通过2个管理网口接入网管网，用于存储设备的日常管理和存储监控管理。

图一 高端NAS双活系统网络拓扑图

如上所述，高端NAS双活系统的网络按照功能划分为四个物理隔离的平行网络平面，每个网络平面只承载各自功能模块的流量。这样的网络架构设计，既保证了各个网络的安全性，也提升了每个网络平面的吞吐性能。

在软件层面，为了提升安全性和易管理性，高端NAS系统采用基于租户的方式实现业务系统逻辑隔离。租户是文件系统、网络逻辑端口的存储资源集合。针对我行的实际业务场景，设计了两类租户，一类是业务系统交互，另一类是业务系统独自使用。对于业务系统间交互的租户，会按照业务系统网络区域配置不同的逻辑端口，业务系统会使用同区域的网络端口接入NAS存储，从而提升存储访问效率，同时还能规避边界网络防火墙的跨区流量。

除了安全性、易管理性和性能因素外，租户也是高端NAS双活系统细粒度站点级容灾的底层支撑要素。每个租户在双活架构下会配置双活租户pair对，由于双活租户pair是双活系统的小单元，因此，可以实现基于单个业务系统的站点级灾备切换方案。

五、项目运营情况

高端NAS双活系统自投产以来运行平稳高效。其中，业务系统间文件交互场景随着我行新核心银行系统工程建设项目一并上线。截止目前，该平台已经承载了和新核心银行系统交互的54个业务系统场景。

对于GPFS迁移NAS的非结构化数据存储架构优化事项，已经完成了两个批次系统的迁移，目前正在推进后续批次的迁移实施。

在高端NAS存储双活建设项目立项之初，便已经考虑了系统的可扩展性和架构弹性。为了满足我行新核心以及其他重要业务系统的文件异地灾备建设需求，目前正在推进异地NAS存储建设项目。对于文件异地容灾将采用基于NAS存储的复制技术，通过直接在现有高端NAS双活系统上增加第三台NAS存储，实现在线构建两地三中心架构。整个项目实施过程可以做到对现有业务系统无感知和性能无损。

六、项目成效和经验总结

通过本项目的实施，无论是对我行存储系统架构体系建设，还是业务系统的设计都取得了显著的优化和成效。

*****，实现了我行NAS文件存储资源池的分级建设，填补了高端NAS存储资源池的空白。第二，降低了块存储使用成本，提高存储的使用灵活度，实现不同类型业务数据的合理存储。第三，借助高端NAS存储设备构建同城双活架构，实现重要业务系统对于文件存储的高可用需求。同时，也为接下来的NAS存储两地三中心建设做了很好的铺垫。第四，开创性地利用NAS存储构建业务系统间文件交互平台，显著提升了业务处理效率。