一、项目方案

随着业务线扩展以及物联网的发展，银行的服务规模和业务系统在不断扩大。于此同时，信息科技系统的应用架构也在快速演进，架构复杂性与日俱增。如何在数字化新形势下打造更为高效、准确、智能的研发运维体系，是科技部门面临的主要问题。在广泛汲取国内外同业成功经验的同时，结合自身科技发展，重庆农村商业银行启动和实施了区域性商业银行智能研发运维一体化管理平台项目。

该项目是重庆农村商业银行一个特大的基础类项目，是我行科技转型升级的一个重要内容。本项目的建设目标是打造银行智能研发运维管理一体化生态体系。为实现这个目标，统筹开发了多个基础平台。

一是以项目管理平台为主线，实现从立项管理-策划-需求分析与设计-开发-测试-上线与试运行-验收-后评估项目全生命周期闭环管理。

二是借助质量管控平台及自动化工具实现持续集成、持续部署。持续集成过程中，调用静态代码扫描、SQL扫描工具尽早暴露大部分低级问题。

三是通过测试管理平台进行自动化测试和版本、部署审批，触发自动部署。

四是依托智能运维平台，统一采集日志，建立标准化指标巡检脚本库，使用AI机器学习能力进行趋势分析，生成动态阈值基线，实现智能指标异常检测和预警。

以上基础平台基于自主可控的底层技术架构，采用DevOps的理念，规范了项目从需求提出、开发测试、部署上线再到问题反馈的全生命周期流程，形成持续运营、持续优化的闭环生态。项目的整体流程架构如下：

二、创新点

1.革新软件开发管理模式

在本系统的开发、测试、部署过程中，团队使用了基于DevOps的软件开发管理模式，使得团队能够对平台的各个微服务能力中心实现快速的开发、测试、部署，提高了平台各微服务模块的交付效率和交付质量，加强了人员之间的沟通协作和对需求的理解实施。

2.实践安全左移理念

安全左移是指从上线到测试，到编码，再到设计，越来越往软件生命周期的左侧尽早去解决安全问题，主要包括三个机制：面向开发人员的代码安全指南、嵌入基础设施的代码安全检查、默认安全配置。

3.建立研运一体化生态体系

本项目从两个方面构建研运一体化生态体系。一是运维角色升级：通过运维运营化、智能化，保障系统安全、业务持续，同时运用数据分析为异常处理、容量预估提供决策建议。二是生态体系开放：通过运维能力中台化，覆盖项目全生命周期，也可根据具体业务系统按需定制智能运维算法，可扩展性强。

三、技术实现特点

1.微服务架构

区域性商业银行智能研发运维一体化管理平台是基于微服务架构开发，可以方便地以容器方式进行部署，采用Kubernetes进行容器编排，能够实现微服务的动态扩容和自动运维。对应技术架构如下。

2.全方位多形式数据采集

本系统支持对数据中心所有的系统和IT设备的各种格式数据进行全面的日志采集，采集方式支持Agent方式、Syslog方式、API接口方式、脚本上传、SNMP等。在日志解析方面，平台支持解析规则库，可通过基于正则表达式的字段解析功能，实现在线预览解析效果。并且利用分布式架构每秒钟可分析百万条日志，每天可以处理几十TB级的日志量。

3.多功能自动化应用发布

本系统实现应用发布全流程自动化管理，包括程序包下载、备份、更新和一键式部署，可以采用Excel或图形化界面拖拽的方式对部署流程进行编辑，支持串行和并行发布，支持执行前预览，支持完整流程和执行顺序可视化展示，提供部署中对部署流程的终止、暂停、继续的能力，支持接入自动化流水线和私有云，促进了应用运维的标准化实施，加快了应用系统交付速度，降低人工操作风险。

4.基于自适应机器学习的应用预警

本系统梳理各应用系统指标模型,形成标准化的指标拓扑图和指标模板。通过引入AI机器学习，根据历史数据建立融合多种异常检测模型，对指标曲线实现高准确率的异常检测，生成各指标动态阈值基线，实现智能预警，目前可供融合的算法包括：Ripple、Dtmos、Spider等。同时通过建立预警中心，统一收集和处置预警信息，实现了预警压缩降噪。另外，平台根据波动分析、根因量化，能够智能地提供处理建议，有效地提高了问题处理效率。

五、项目过程管理

项目各阶段的实施周期：

需求分析和概要设计阶段：2019年7月至2019年8月；

系统详细设计阶段：2019年8月至2019年10月；

系统编码、测试和上线准备阶段：2019年10月至2021年5月；

试运行阶段：2021年5月至2021年6月；

推广实施阶段：2021年7月起。

六、运营情况

1.自动化测试提速增效

系统搭建了自动化UI和接口测试平台，已全面支持Web Service、SOAP、Xml、Json、ISO8583、定长报文等6种报文格式。拥有测试脚本数58个，用例31426个，调试执行30861次。整体功能覆盖率提高35%，整体执行人效提升400%。

2.代码漏洞扫描保驾护航

系统对业务逻辑的16个指标进行检查，包括空指针检查，异常捕获检查等。也会对SQL中的10个指标进行验证，包括索引构建、参数绑定等。自上线后6个月，累计扫描出代码漏洞1628个，含高危漏洞125个，优化SQL建议1833条，部分慢SQL性能提升80倍。

3.重要信息系统应用发布自动化

系统提供应用发布自动化功能，自上线以来的5个月内，接入的9套业务系统，实现了48次上线。固定的上线流程6个。应用发布时间由之前的90分钟左右缩短至15-30分钟之内，发布效率提升了至少3倍，运行至今所有变更流程全部执行成功，0失败。

4.智能预警实践银行AIOPS

系统通过融合多种机器学习算法提供应用智能预警服务，可生成动态基线，目前支持单指标异常检测类算法6个，单指标预测类算法4个，多指标分析类算法2个，已监控464个指标，涉及13个系统。异常检测准确率96%，5分钟内可完成根因定位，速度提升70%。

七、项目成效

1.社会效益

符合国家、央行金融科技发展规划，助力银行数字化转型。本系统在金融业的成功落地，为金融科技发展提供了行业知识范本、落地经验与可借鉴的案例，是行业对AIOPS一次成功的实践，具有较大的行业创新意义。

2.经济效益

主要体现在降低运营人力成本。智能运维系统所包含的综合项目管理平台采用无纸化电子存储，检索相关项目文档效率大大提升；测试管理平台通过自动化测试功能使得整体执行人效提升400%；质量管控平台通过代码扫描尽早发现程序漏洞，避免生产损失；智能运维平台使用自动化应用发布流程以及异常根因定位也极大地提高了应用发布和运维的效率。这些结果有效地降低了运营人力成本。

八、经验总结

本项目的建设，打造了基础平台级信息资产，是重庆农村商业银行以金融科技赋能全行数字化转型升级的生动案例。其一方面提高了企业科技的自主架构设计能力，保障了金融科技转化为具体业务产品的高质高效；另一方面也为银行业全面推广微服务、智能运维和系统架构升级提供了一份良好的模版和参考执行标准。随着数字化转型的全面深化，本项目将为我行提升金融服务质效，提供持续的助力。