一、项目背景

华夏银行奋歩在新的五年规划征程上，秉承“服务新时代、建设新华夏”主题，以综合金融服务巩固对公业务基础地位，着力提升数字化和零售业务发展新动力，打造绿色金融和财富管理发展的新特色，畅通服务实体经济的血脉。高效安全的新发展格局离不开新技术，新架构的支持。在业务稳健发展背后，华夏银行确立并实施首批数字化转型重点工程，如旨在提升数据管理与应用能力的“禹治”工程；旨在提升科技智慧安全运营能力的“神盾”工程等。作为“神盾”工程的一项重要任务，全栈云平台项目深入探索IT架构转型，利用分布式云原生技术栈、全链条安可技术栈，实现系统稳定运行、智能控制、信息交互便利、金融信息安全可靠，为华夏银行IT系统全面转型打下基础，为解决我国在“卡脖子”的技术场景以及相关技术验证上做出贡献。

本项目以全栈云为技术核心和落地实体，包含了多层级、多能力的一系列硬件、软件、系统和服务的集合，明确了华夏银行未来基础设施的发展方向，确定了未来技术架构，降低了基础设施成本投入，充分发挥数字资产价值，带来显著的经济效益，有效支撑了全行业务拓展和金融创新，全面提升新技术应用支撑能力。

二、项目目标

本项目旨在确保信息系统运行安全、稳定、快捷的前提下，创新性建设云原生平台以及全栈技术体系，和全面的服务能力。在兼容性、全栈互通性等方面进一步带动全栈云平台安全能力以及开放的产业链生态发展。

金融级全栈私有云平台是华夏银行自主建设的云计算产品服务平台，以云原生技术框架为支撑，提供包含云主机、云存储、弹性IP、虚拟私有网络等基础云服务，以及容器、负载均衡、服务网格、云数据库等高级云服务，为各应用系统提供高可用，高弹性，安全合规的云计算服务，同时通过云架构AZ设计、一云多“芯”、多云管理、智能运维等能力保障业务高可靠。

三、项目创新点

1.金融云平台涉及金融信息，需要搭建多层分布式云原生架构、系统性平台安全、开放性多云管理、一云多“芯”、可持续的多生态兼容、智能运营等创新点。

2.基于Kubernetes集群架构提供云原生应用的资源交付能力，构建操作系统+容器+k8s的云原生不可变基础设施；PaaS层面提供统一的编排框架，支持数据库、中间件和消息平台提供分布式服务和标准化交付，结合行内自研DevOps形成华夏银行云原生架构，实现从传统架构向敏捷架构演进。

3.在充分发挥云原生优势安全能力的基础上，持续筑牢具备“安全内生、主动免疫、智能感知、动态适应”等特色的纵深安全防御体系。增强云平台网络结构安全性，完善云平台安全措施，提升云基础平台安全防护能力，增加云服务安全纵深防御，全面满足合规管控要求。能够抵御日趋复杂网络威胁的影响，充分保障云平台的持续稳定运行，支撑业务的安全可靠发展。

4.规划全行五朵云面向全行全业务场景提供服务：生产云、分行云、中间业务云和金融生态云，其中全行生产云主要承载总行生产应用系统、各分行的前置及重要的、无特殊需求的关键应用系统；金融生态云（托管云）主要承载子公司、行外客户生产业务以及未来服务其他产业，实现产融结合。

5.建设统一云管平台，实现稳敏态、总分行等不同资源池的统一管理和全局调度，屏蔽稳敏态底层资源及技术差异，实现云服务门户、云服务管理、云服务运维三项主要功能，提供统一的IaaS、CaaS、PaaS、SaaS等服务，包括计算、存储、网络、安全、数据库、中间件和批量等资源，支持统一监控、数据报表和计量计费等功能。

6.其中云服务门户通过Web方式为终用户提供统一入口和使用界面，主要包括服务请求管理和服务目录管理。云服务管理负责云服务的申请、审批、交付、使用和回收等各个环节的全生命周期管理，主要包含服务目录设计、服务实例配置、服务编排和执行、服务计量管理。云运维平台主要负责云环境的监控、配置、容量和应急等日常管理维护。提升云资源与云服务管控能力。

7.自研云魔方运维服务平台凭借先进的技术架构和前卫的运维理念，在云平台的运行监控、变更操作、弹性供给、故障定位、问题处置等方面提供一键式解决方案，并在安全可控的前提下，推出了移动端app工具，极大提升了我行私有云平台的运维水平和技术掌控能力，在同业中处于领先水平。按照体系化建设思路，围绕安全生产关键环节和重要部位，以安全技术和安全运营两大体系为主，梳理差距短板，明确努力方向，从运维工具箱建设、智慧化生产运维、数据安全保护3个方面入手，细化工作任务，确定实施路线，确保各项措施落实到位。 同时制定了5分钟发现、3分钟定位、2分钟解决问题等运维目标。规划以运维数据为核心建设智能运维数据平台，为运维数据应用场景提供一体化支持。

四、项目技术方案

1.整体方案设计

为保障信息系统建设持续支撑全行及各子企业业务发展，华夏银行按照统一建设规划、统一技术路线、统一管理底座和统一版本控制的原则，建设完成我行自主规划、建设及运维的云计算平台，支撑了传统应用平台、云原生平台、数据平台三种生态应用的统一部署和运行。

该平台采用“一横、五纵、两技术栈”的方式进行规划和建设。“一横”是指统一的管理平面和运维平面，云上的所有系统均按照相同的技术标准使用云计算服务；“五纵”是指总行、分行、子公司、龙盈和信用卡五个相互隔离的虚拟资源区，通过租户划分和权限控制共同使用云平台资源；“两技术栈”是指云平台分为两条技术路线，即支撑传统应用的稳态技术路线和支撑云原生应用的敏态技术路线。

由下图可见：

2.云平台逻辑架构

华夏银行私有云逻辑架构图

华夏私有云平台整体由基础设施层、资源池层、云服务层、管理域和展现层组成：

基础设施层

基础设施层指的是华夏银行私有云实际运行的物理设施，包括X86、ARM或GPU服务器，提供块存储的SAN或者分布式存储设备，提供对象或者文件的存储设备，通过网络交换机、路由器、防火墙组网互联，形成大规模集群；集群在云平台的管理下，为上层业务提供具有云平台能力的资源服务使用方式。本次基础设施层主要以X86服务器和网络设备组成。

资源池层

资源池层是逻辑概念，将基础设施层提供的硬件设备按照逻辑功能的不同划分为不同功能的资源池。按照提供服务能力的不同可以分为基础服务资源池和数据服务资源池；本次设计虚拟化资源池、物理机资源池、网络资源池、分布式块存储资源池、分布式对象存储资源池。

云服务层

云服务层作为云服务的后端实现实体，主要完成服务的封装和对资源的自动化分配、使用。通过对资源池层相关资源的封装，实现云资源服务的发现、路由、编排、计量、接入等功能，实现从资源到服务的转换。

管理域

分为运营管理和运维管理两部分:

运营管理，提供运营管理功能，运营管理可以提供云服务申请和自助服务能力，包括租户管理、组织管理、流程审批、统一认证、云服务管理、经营优化等运营管理功能。

运维管理，提供运维管理功能，支持对多数据中心的统一运维管理，包括告警、性能、监控、日志以及报表等功能。

展现层

展现层是云管理平台的对外呈现，分为用户门户及管理员门户。用户门户面向终租户/用户，管理员门户面向系统运营/运维管理员等。租户/用户可通过服务控制台自助实现对服务的申请、使用、监控、删除等生命周期管理的操作。运营/运维管理员可以通过管理员门户完成对系统的管理。

3.云平台技术路线

华夏金融云采用全链条安全可控技术，构建全新生态的云原生技术栈，并对应用提供有效支撑和运维，建设领先的新型XC平台，在硬件平台、SDN及安全、云平台及云操作系统各层面全面实现自主可控。充分运用云计算、大数据等先进理念和技术，按照“集约高效、共享开放、安全可靠、按需服务”的原则，以“云网合一、云数联动”为构架，建成云平台，实现各部门基础设施共建共用、信息系统整体部署、数据资源汇聚共享、业务应用有效协同，开展大数据开发利用，为企业管理和公共服务提供有力支持，提高为民服务水平，提升用户数据治理能力。

整体方案的硬件基础设施层使用国芯计算型、存储型服务器资源池，以及基于国芯的GPU服务器资源池构建，为银行业务发展，提供充足高效的算力。

在平台技术层，全栈云采用分布式技术实施。首先在应用架构设计上主要遵循三个原则：松耦合（微服务，松耦合与组件化的服务架构）、分布式（复杂服务简单化、每一层考虑分布式部署）、实时化（各层之间保持数据实时连接）。其次在基础平台技术上走分布式路线，包括计算、存储、网络、数据库等单元：

1.计算层

服务器：计算存储领域采用国芯服务器解决方案。

借助国芯服务器构筑计算侧解决方案，可端到端打通硬件、操作系统、虚拟化软件、OpenStack云管理软件的全堆栈，根据国芯架构进行深度性能优化之后，即可充分发挥国产芯片的多核架构优势及性能优势;

计算虚拟化：为了提高计算资源使用效率，建设资源弹性伸缩的企业计算资源池，项目全面采用KVM等虚拟云化技术，虚拟化率接近100%。

2.存储层

分布式存储：根据数据的重要程度、使用频度等多个维度综合考虑数据的分布，按照使用场景的不同，主要包括分布式块、分布式文件、分布式对象。

3.网络层

网络设备从核心器件、操作系统、管控维系统，构建了完整的数通产业自主可控能力。核心业务区采用Spine/Leaf架构，Leaf和Spine之间部署动态路由协议，核心交换支持AI Fabric，即支持RoCEv2，适应未来HPC、分布式存储等业务在以太网上部署需求，服务器支持25G端口接入。本方案中采用软件SDN方案，网络作为纯Underlay，提供转发通道。  

4.操作系统层

全面支持中标、银河麒麟、欧拉等主流安全可信的操作系统，并在云上专门建立安全备份云，满足各类核心业务系统的灾备要求。采用SLA架构，提升系统容灾备份服务能力。

5.中间件层

分布式消息中间件：消息中间件用于应用间的消息高可靠传输及交换，基于高可用分布式集群技术，支持高可靠机制和死信处理机制，支持RESTful消息访问API，支持集群节点弹性伸缩。分布式缓存中间件：缓存中间件提供云化的缓存服务，支持透明的故障切换，故障切换后访问地址不变，同时提供多租户支持。

6.IaaS层

采用云平台服务，具有弹性云服务器可以使用户可以在几分钟之内迅速地获得虚拟机设施，并且这些基础设施是弹性的，可以根据需求进行扩展和收缩；向用户提供裸金属服务器，裸金属服务器不运行虚拟化层，直接安装用户OS、镜像服务等。

7.容器层

采用云容器引擎，提供容器相关服务。以K8S、Docker为核心源组件进行增强开发，主要增强网络、调度、平台易用性。云容器引擎为企业应用提供编排、调度、部署、弹性伸缩、升级、自动化运维等基于容器的全生命周期管理能力。

8.云原生应用开发平台层

采用华夏银行自研的基于微服务以及开源开发框架的统一开发平台。

9.DevOps

开发运维一体化（DevOps）通过云平台咨询服务建设，将应用的需求、开发、测试、部署和运维统一起来。

10.数据平台

采用智能数据湖运营平台、大数据、数仓等组件产品实现面向企业的数字化运营诉求，提供一站式数据运营平台。

11.多元化数据库

与存储类似，数据库层主要是考虑按照系统的重要程度和使用频度等将数据分布式部署在数据库平台层，并大量采用开源和国产数据库技术。

五、项目过程管理

该项目分为平台规划阶段、建设阶段、投产阶段和持续改进四个阶段。

阶段演进路线：

1.平台规划阶段（2021年3-4月）

完善行内信创云全景规划和本次项目实施规划；在开发测试环境进行功能和系统适配工作；与监控、自动化、审计、安全等各个系统开展对接工作。

2.平台建设阶段（2021年5-7月）

按照规划建设全栈云平台，提供符合信创要求的基础软硬件服务。

3.平台投产阶段（2021年8-9月）

平台具备承载应用系统部署能力，并与应用系统进行生产环境适配工作。

4.持续改进阶段（2021年10月-今）

完善平台服务能力，陆续提供容器、数据库、大数据、安全等信创云服务。

计划制定：制定切实可行的项目实施计划，明确项目各项工作开展顺序、开始时间、完成时间，及相互依赖衔接关系。

项目计划制定的原则如下：

合理性。明确项目内和项目间各阶段任务的并发性和相互依赖关系，明确关键路径上的任务。

灵活性。项目计划的安排应充分考虑可能的风险，保留合理的缓冲时间。

全面性。项目的计划安排应全面考虑项目的商务、人员、环境以及与其它项目组的配合等各方面制约因素。

责任分明。项目计划所安排的人员应分工合理，责任定义明确；底层的子任务落实到具体的项目成员。

目标明确。项目计划安排的每个阶段和任务都有确切的起始和结束日期，每个任务都有明确的工作件或提交件。底层任务工期不应当超过5个工作日，工期的小单位为1天。

计划跟踪与变更：定期跟踪和评估项目的进展，审查项目的任务进展、日程安排和资源调配，并根据情况做出适当的改变。

六、项目成效

1.性能指标

整体项目采用分布式微服务架构，系统的应用层和数据层具备动态扩容能力；管理成本降低为传统的1/5-1/10，系统整体的性能根据业务需要动态的增加计算节点，从而实现按需动态扩容，动态提升系统整体性能，达到亿级账户亿级交易的处理能力，系统联机性能达到4000TPS以上，查询交易响应时间和金融交易响应时间维持在毫秒级水平，交易成功率达到99.99%，高可靠达到99.999%，优于行业标准要求。

客户量：2000万

预支持帐户数：亿级，可根据业务动态横向扩展

查询交易响应时间：<0.3秒

金融交易响应时间：<0.5秒

系统并发数：>500

日终批量3000万客户：

单机交易并发数>500，TPS>2000，8C16G；

日间交易服务器CPU利用率：平常<=30%，高峰<=60%

批量交易服务器CPU利用率：平常<=60%，

交易成功率>99.99%，高可靠99.999%

2.社会效益

我国相关研究机构、企业经过数年探索与努力，研制出高性能通用计算机硬件，并在某些特定领域与场景下逐步推广应用，其性能得到了初步验证，但目前仍缺乏在某个行业领域的大规模高吞吐量核心业务的验证案例，分布式云原生技术架构也在应用探索中，此次大规模应用验证，将作为后续多个行业领域的分布式改造工作的示范和学习案例。

分布式数据库虽然在近年来有较为不错的发展，但和国外**商用数据库相比，性能尚有明显差距，本次分布式数据库的应用做海量操作性能验证，其中以海量查询业务为主的数据分析系统将采取100%国内数据库，在项目建设期内帮助国内数据库厂商进行测试调优；这也是通过关键应用带动国内自主创新产品进一步完善，稳定性进一步优化的重要尝试，届时，国内数据库将突破性地支撑大规模的交易系统，为信息系统分布式化做出突破性贡献。

3.经济效益

通过本项目的建设，系统采用微服务架构、国产操作系统、国产中间件、国产CPU服务器，可以大幅度降低整体解决方案相较于传统架构的软硬件成本，使得单账户管理成本降低为传统的1/5-1/10。

采用云魔方运维服务平台大幅减少了因故障导致的系统中断时间，项目上线后因云平台故障造成的系统中断时间较之前降低了5倍。

金融级全栈私有云平台建立从底层芯片到上层应用生态均满足开放和持续发展的要求，覆盖互联网、生产网、开发测试等环境，提供了计算、存储、网络、大数据、数据库等基础软硬件服务，以及容器、应用网关、服务网格等云原生服务，有力支撑各类信息系统云化及微服务化改造。云魔方运维服务平台重在运维平台及工具的开发，虽然不能直接产生经济效益，但大幅减少了因故障导致的系统中断时间，从而间接创造了业务价值。项目上线后因云平台故障造成的系统中断时间较之前降低了5倍。

七、经验总结

1.金融大规模三层组网持续演进

软SDN三层组网，各业务区三层互联，抑制二层网络广播风暴的范围，提升金融业务平台的稳定性和可靠性。组网规模支持物理二层Spine-Leaf结构向超大规模物理三层核心-Spine-Leaf结构的平滑演进能力，支持云平台快速且稳定可靠的扩容和持续发展。

2.容器多云管理平台统一

针对现有的若干容器平台，建设统一的容器多云管理平台，支持异构纳管实现K8s多集群统一管理。现有容器平台只要基于标准K8s接口进行对接的都能被纳管，做到异构多集群管理，跨集群弹性伸缩，轻松实现业务异地容灾、高峰跨云弹性。

3.结合现实的可落地设计

在全栈私有云平台建设过程中，使用了大量的技术架构创新实践和成果，形成了可复制的实施工艺方案，如3AZ高可用域设计、多级VDC的管控分离设计、独立global区及多region设计等。配合我行自研的云魔方运维平台，顺利完成了传统应用向全栈云平台迁移改造的工作。