一、项目背景

金融作为国计民生的生命线，在外部环境日趋复杂的趋势下，加速国产化建设，采用国家基于自己的 IT 底层架构和标准，构筑安全防线、抵御未知风险，将是未来金融机构中的重要课题，自主可控大的价值在于可以保证没有后门,且能及时修复漏洞，使用户处于主动，更大限度地保障信息安全。除了稳态业务对基础设施的稳定性、可靠性、安全性要求一如既往的高之外，大量基于大数据、人工智能、区块链等新数字化技术的敏态业务在大量井喷，金融机构的基础设施需要与时俱进，国产化云更好地支撑起敏态业务发展。

在这样的背景下，新疆农信基于自身发展考虑，以金融产业数字化为契机，以金融国产化为试验田，夯实新疆农信金融地基，巩固新疆农信金融底座。推动数字化转型的重要支撑，对于构建国产化产业生态体系、推进国家总体安全、建设数字中国具有积极意义。从金融国产化的实践来看，全面国产化替代不仅要实现关键技术的自主可控，还要融合生态之力实现从基础底层到上层应用的完整适配。因此需要从实现底层云平台(管理节点)-云平台节点（操作系统）-应用多层的国产化支撑。

二、项目方案

形成一云多芯，多芯协同的混合基础设施架构，国产化相关的技术产业链包括：IT基础设施自主可控、底层软件自主可控、应用软件自主可控、信息安全自主可控几个方面，而国产化云计算能力栈建设除了：国产化基础设施硬件、国产化云平台IaaS能力、IaaS+ 及PaaS能力、数据湖DaaS能力、国产化业务应用SaaS能力、运营运维CMP能力等6大能力的建设。外还要配置运维运营与安全架构支撑，并辅以大规模体系化的国产化替代迁移方法进行护航。

本项目实施构建国产化云平台架构升级、数据迁移与国产化应用改造、统一服务融合运营管理等多层的国产化支撑改造与建设。

1.形成一云多芯，多芯协同的混合基础设施架构

与传统云平台以x86架构服务或单一国产架构IaaS服务能力模式不同，基于智能异构融合的云操作系统，通过中立、开放生态的系统架构，可以提供基于包括x86、ARM、海光等多厂商、异构处理器在内的融合式IaaS云服务，并可以结合各类架构体系所擅长的不同领域。可以实现不同架构CPU的混合异构部署及集中统一管理与调度，充分发挥不同架构CPU在多种使用场景要求方面的优势，满足不同应用提供不同硬件平台支撑的丰富性选择需求，避免技术锁定的同时，让应用平滑的在多样技术架构中“漂移”。

2.国产化裸金属计算资源池的交付

异构智能计算支持多租户的弹性国产化裸金属服务，国产化裸金属服务器是一种弹性可水平伸缩的高性能计算服务，计算性能与传统物理机无差别，具有安全物理隔离的特点，分钟级的交付周期助力企业获得实时的业务响应能力，助力核心业务飞速成长。本项目实现基于ARM架构的国产化裸金属服务交付，不依赖硬件的定制化，提供平滑兼容的裸金属云架构。

由TOR 硬件交换机对裸金属服务器进行裸封装网络引流，网络节点服务器通过软件OVS对流量镜像按MAC地址分解，云操作系统SDN控制器进行业务网络的处理。通过存储节点服务器的iSCSI Server为裸金属服务器提供网盘挂着与镜像引导。网络存储节点服务器可重叠，并通过Metadata服务与云平台通讯实现虚实同台的裸金属云架构集群。

3.分布式存储与云平台融合部署

本次项目将云平台及分布式存储平台进行融合部署，提供基于国产化架构的超融合平台，核心优势主要是超融合底层基于自主创新软件、硬件、操作系统等，满足合规要求；分布式存储能够充分发挥 SSD 硬盘 90% 以上的性能，提供业界前沿水准的存储性能；超融合架构支持资源、性能线性扩展，充分适应未来发展要求；通过HA、多副本机制等多项技术保障数据安全与业务连续。

国产化架构下融合部署方式进一步简化了国产化平台基础架构，并降低了系统的总拥有成本，只需要匹配满足国产化要求的服务器、向上完成国产化体系的操作系统到中间件以及应用适配，即可搭建可应用于生产环境甚至核心生产环境的国产化私有云搭建方案。

国产化IaaS私有云的整体设计，参考国标GB/T32399-2015云计算参考架构中的功能架构进行设计，分层架构包括用户层、访问层、服务层、资源层等4层以及一个跨层功能集合（相当于云管理平台CMP的能力），具体分层功能设计参考下图：

在实际进行国产化IaaS私有云软件选型时，则应首先注意其与国产化生态基础软件（如操作系统、中间件、数据库等）、国产化基础硬件（如服务器设备、网络与安全设备等）的兼容性测试，同时针对国产化资源层、国产化服务层、访问层、用户层以及跨层功能组件（云管理平台）中直观操作的运营支撑组件和业务支撑组件展开功能测试，同时针对性能效率、可靠性、信息安全性和兼容性开展测评，并依据结果做出选型决策。

三、创新点

1.一云多芯协同、单机多模技术

通过云基础设施屏蔽异构芯片差异，实现不同路线CPU 资源池产品化、一体化管理，一云多芯、多芯协同异构的底座将作为重要基础设施支撑各场景的国产化金融云解决方案的落地。在“一云多芯”的模式下，将服务器芯片、专用芯片等硬件封装成标准算力，无论底层是X86、ARM还是海光，用一套云操作系统来管理不同架构的硬件服务器集群，其特点就是可以将不同架构CPU的算力标准化，从而解决从根本上解决不同类型CPU共存所带来的多云管理问题。

满足不同类型应用对基础资源的要求,使一台物理服务器上根据业务需求切换资源形态，提供国产化环境的虚拟化+容器+LXC的多模形态，避免虚拟化一朵云，容器一朵云的非   此则彼的状况出现，多模技术的使用可使资源更加灵活高效的被使用，可为开发测试、运行生产、高性能计算等不同类型应用提供合适的计算供给。

2.软件定义方式实现国产化裸金属管理

国产化裸金属服务是兼具虚拟机弹性和物理机性能的计算类服务，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的国产化环境计算性能及数据安全,用户通过界面或者API服务申请创建裸金属实例，云平台通过EC2模块调度裸金属、SDN模块配置实例网络、PXE和ISCSI配置实例镜像信息、MetaWeb接收实例状态信息等一系列部署操作，终向用户交付裸金属实例，用软件的方式实现裸金属，只需要裸金属服务器主板、网卡支持IPMI功能即可，不需额外的板卡支持，降低裸金属服务器的采购成本。

3.国产化环境下的分布式存储与云平台融合

依托于国产化服务器，将云平台及分布式存储平台进行融合部署在单一服务器，其原理是在物理服务器上同时安装云平台软件及分布式存储软件，通过将各个硬件服务器节点上的计算机存储进行整合，将存储资源提供给虚拟机使用。通过融合部署方式大幅度提升设备的利用效率，缩减存储访问路径，提升整体平台运行速度，将硬件平台的计算、存储、网络等资源充分利用，减少数据中心对电力、运维、空间的开销。其中关键技术在于验证云平台及分布式存储的融合部署稳定性，能够长期提供可靠的国产化基础运行平台。

4.国产化生态基础架构与分布式存储软件适配

存储作为基础架构中的核心组件，对业务效率和高可用性有直接的影响，需要较长的时间验证其稳定性，存储不仅需要采用新的CPU体系，从开发到稳定的周期也很长，因此采用稳定可靠的解决方案尤其重要。国产化生态基础架构技术路径多样化。以关键的CPU技术为例，目前有鲲鹏、海光、飞腾等基于不同架构和指令集的CPU产品，为了实现对异构计算芯片的融合，在数据存储层面通过商业化的分布式存储软件实现各生态的兼容适配，确保各类核心数据的安全存放，且满足合规要求。

5.实现基础资源精细标签化的调度管理

统一管理、资源节省，通过统一界面在同一个云中实现多种类型计算资源的供给和调度，权限统一，同时实现统一监控和告警管理，且可以统一管理国产化云和传统非国产化云。

根据开放场景应用、在离线混部应用、规模化应用的需求的差异性，异构软硬件特性会有针对性的适用场景。在超大规模云平台中，需要有一种技术手段能按要求将应用作业下放到指定节点、指定的异构资源上运行。应用可以从各种维度、多粒度对环境资源、平台功能提出相对应的业务要求，云资源平台按照要求调度正确的资源组建应用环境。

四、技术实现特点及优势

云平台部署架构图

云平台对资源的管理是三层架构，自上而下分别是：云控制器（CLC）、集群控制器（CC）、节点控制器（NC）组成。一个CLC代表一个region，一个CC代表一个AZ，其中云控制器可以管理多个集群控制器、一个集群控制器可以管理多个节点控制器。

1.坚定国产化持续替代的目标，走π字型双技术路线

考虑当前百花齐放的芯片架构，以ARM授权为基础的飞腾系列和鲲鹏系列CPU产品，以MIPS授权为基础的龙芯系列CPU产品，以X86的IP授权或合资为基础的海光系列和兆芯系列CPU，以ALPHA授权为基础的申威系列CPU。这些CPU逐步演进和迭代各自特点发展明显，在各自优势领域获得了产业肯定，结合金融行业特点、CPU架构特点、生态特点、以及新疆农信的情况，横向对比芯片厂商的CPU参数，采用海光CPU及鲲鹏CPU两条路径进行国产化持续替代的目标。

2.兼容并包，智能编排，多架构统一服务管理

异构融合的大规模计算技术路线选择，是在同一个云可用区域中同时提供虚拟机VM，容器CM，裸金属BM的服务技术。VM主要适用KVM技术，CM主要适用Docker容器技术，BM主要以国产服务器为主。这三种计算类型的服务都使用统一的国际兼容云服务接口标准，因此，无论使用哪一种计算服务，它们都可以拥有相同的使用和管理方法，基于智能编排从而实现在各个架构下提供统一的服务，自适合把服务目录发布到不同的芯片设备上。由编排引擎的流程控制，通过接口定义构建可定制化的workflows和更高级的自动化任务，如一键部署、升级等。

3.融合部署，降低总拥有成本，渐进式国产替代

选择成熟稳定的商业化存储与现有云平台的融合部署路线，不仅解决当前开源Ceph的安全隐患、功能缺失、连续性、服务无法保障的问题，同时还考虑现有机房空间、投资成本等因素，国产化架构下融合部署方式进一步简化了国产化平台基础架构，并降低了系统的总拥有成本，软件定义的灵活性与标准化硬件的开放性相得益彰，使得融合部署既具备了用户所需的高性能和多样化功能，又避免被厂商绑定，只需要匹配满足国产化要求的服务器即可，通过对商业化存储厂商的选型，从市场占用、功能丰富性、稳定性、服务质量等考量，选择开放性更高的产品以满足用户逐步实现国产化替代的要求，进一步夯实国产化金融云地基，巩固国产化金融云底座。

五、项目过程管理

*****阶段:国产化资源池组建、裸金属服务资源池组建，实施周期：2021年12月15日-12月27日

第二阶段:生产内网区域、互联网区域、内网测试区域KVM云平台国产化改造,实施周期：1月15日-4月19日

第三阶段:生产内网ceph迁移至XSKY存储，实施周期：6月25日-8月1日

六、运营情况

新疆农信国产云平台已支撑统一技术平台、商业智能数据分析工具、即时通、OA、邮件、云文档等7个业务系统的投产运行，上线虚机100多台、目前已稳定运行240天。

七、项目成效

本项目依拖基础云一云多芯的能力，使底层X86、鲲鹏、海光可按需使用，建设主备中心的国产化云，兼顾国产化云与容灾云的双重诉求，完全匹配了多样技术路线的选择，已满足7个业务系统的国产化云环境改造支撑及上线需求。有效实现了计算、存储、网络基础设施的“资源池化”管理，实现资源按需申请、弹性分配，大限度发挥资源利用率，资源利用率从15%提高到50%以上，同时大幅降低了业务系统项目投产成本。本将新疆农信80%的基础软件环境标准化、模版化，云平台自助交付合格接近100%，交付时间缩短至分钟级，提升了基础软件资源交付效率。

八、经验总结

本项目通过国产化环境的计算系统、存储系统、分布式软件定义网络控制器将底层异构软硬件抽象成统一的调度接口，实现虚拟机、容器、裸金属异构软硬件资源池的统一调度交付。云操作系统通过统一的软件定义调度控制器将计算、存储、网络的异构资源统一管控，为上层云服务屏蔽底层异构软硬件资源的差异性。同时通过多粒度功能标签、性能分级标签、区域化网络标签，实现异构软硬件资源池化的统一标示。结合异构资源调度系统，实现混合集群资源管理，单一云集群可异构混合计算、存储、网络资源，创新实现全局异构软硬件资源精细标签化的调度管理。实现国产化与非国产化资源池的统一体验，充分发挥不同体系架构CPU的能力优势，满足客户细分场景对异构基础设施的实际需求，实现银行全区域的国产化资源覆盖与统管，包括开发测试云、互联网金融区、内网核心区，实现国产化转型与数字化转型的一举两得目标。