一、项目背景及目标

1.项目背景

随着云平台、大数据、分布式微服务等创新技术的大量应用以及IT架构复杂度的不断增强，金融机构在不断向智能化、精细化运维方向迈进。同时，监管部门相关指导文件均要求金融机构须提升运维侧研发能力，积极运用大数据加强态势感知、故障预警和故障自愈，不断提高运维智能化水平。

我行于2022年启动新一代信息科技工程项目，根据战略规划和新一代工程实施规划，相关业务系统由稳态架构迁移至云原生敏态架构，基础设施、应用架构、交付流程均发生变化，需要以构建适应未来云环境和传统环境的一体化运维体系为目标，汇聚整合云上云下运维资源要素，建设新时代规模运维、主动运维、智能运维浪潮下的运维平台，为我行的业务安全稳定和运维数字化转型升级保驾护航。

2. 项目目标

（1）构建一体化运维基础底座

建设一体化运维管理基础底座能力，包括配置管理、监控管理，流程管理、作业管理、调度编排管理、API管理、可视化管理以及统一的采控和开发框架等运维能力，提供标准开放API供上层架构进行灵活调用。打通“监、管、控、配、析”链条，汇聚各方运维数据，包含资源数据、告警数据、监控策略等，支撑运维场景落地，构建云上云下一体化运维管理体系。

（2）构建企业级配置管理中心

统一建模标准，构建企业级配置管理数据库，实现传统环境和云环境配置信息的合规化管理，将生产环境中的各类硬件、通用软件、虚拟资源、业务系统、文档、指标、策略等统一纳入管理，达到配置信息的可管、可信、可视、可用的目标。按照数据集中规范管理、数据优化治理、场景消费持续运营的建设路径，逐步提升CMDB的建设成熟度，形成完善的数字化配置管理体系。

（3）构建全行集中监控管理中心

整合现有监控工具能力，实现统一告警源接入、统一告警生命周期管理、统一指标阀值体系建设，形成同时面向不同业务、不同管理维度的监控视图。在运维数据治理的基础上，结合智能算法，完成全链路贯通式故障预警、告警丰富、问题分析和根因定位，提升故障处理效率和运维服务水平。

（4）构建统一IT服务流程管理中心

建设科技专用的流程管理中心。通过统一IT运维服务入口，基于灵活的流程引擎建立标准的运维服务流程，以服务请求、事件、问题、变更、配置、监控等闭环管理为驱动，实现一体化运维体系的安全、可控、高效运转，达到对IT运维服务的流程化、规范化管理目标。

（5）构建统一运维自动化管理中心

构建统一的运维作业调度、编排和自动化管理能力，通过引入自动化执行重复的、机械化的日常运维工作，如自动巡检、容量管理、变更发布等，从而提升工作效率，减少人工操作风险。将运维工具能力和相关知识技术沉淀于平台及运行其上的运维场景中，实现由手工、脚本、分散工具化的模式向一体化、数字化、智能化运维的转变。

（6）构建统一可视化管理中心

建设可视化管理中心，通过图形化界面拖拉拽方式配置实现数据的获取和展示，满足日常运维大屏快速定制需求。通过可视化管理中心实现业务监控、运维监控、交易监控的及时、准确、直观的多维度展示，为金融科技管理工作提供全方位支撑。

二、创新点

1.自主可控，打造一体化运维基础底座

整个项目基于国产化海光服务器、国产OceanBase数据库和麒麟操作系统，以先进技术架构作为支撑，包含采控平台、数据计算平台、大规模监控、ITSM、CMDB、运维自动化、运维可视化等多元化组件，各组件之间解耦合，做到平台基础组件自主可控，确保行内科技人员和合作方可基于平台进行后续流程迭代和运维管理场景应用开发，打造符合未来发展的一体化运维管理体系。

2.运维数据治理，构建运维数字底座

统一数据标准，强化质量管控，建立全生命周期管理机制，打通多元异构数据壁垒，实现运维流程的数字化重构，构建智能运维数据底座。

数据规模全域覆盖基础设施层（Iaas）、平台层（Paas）、应用层（Saas），形成全栈配置管理体系，横跨硬件、软件及业务系统，对10万+条的配置数据进行精细化管理。采用双轨校验机制提升数据质量，即“API对接推送+Agent扫描”和人工核检，以统一建模标准，将相关工具的配置数据统一沉淀至企业级CMDB，为资源可视化、流程变更管控提供核心数据支撑。运维数据质量全面提升，数据完整率达99.2%，数据准确率达99.1%（同比提升42%），创新的建立“业务-服务-资源”关联关系，实现从硬件服务器到业务服务组件的一站式透视，提升故障定位效率，消除运维数据的“数据孤岛”现象。

3.平台整合，打通一体化运维工具链

以统一纳管实现平台的整合升级，构建跨领域的统一运维体系，深度整合Ucenter服务器监控、Zabbix网络监控、DeepFlow云上流量监控、UPM云下流量监控、腾讯云哨监控、OceanBase监控、可观测系统、数据类开发平台等八大核心监控系统，自动同步云平台、Oceanbase、虚拟化、IT资产管理等基础平台配置信息。消除"烟囱式工具"，实现运维数据全域联通和操作界面的统一，提升故障定位效率，降低跨系统协作成本，全面推动IT运维向智能化、集约化方向演进。

4.运维流程优化，提升服务能力

构建IT服务工作台，汇聚我行科技服务流程，提高科技服务质量。根据行内制度体系和运维业务需求形成运维管理规范和运维服务流程，逐步完成事件管理、问题管理、变更管理、知识管理、服务请求、证书维护流程的迁移优化。

为打通全行科技服务壁垒，将流程审批与行内移动办公和统一身份认证进行对接，便于业务人员提出科技服务请求，科技部门快速响应并高效处理。支持移动端问题跟踪与提醒，配合行内制度规范同步推进，进行流程重构和新建，为构建“科技服务一站式平台”目标做好基础技术铺底。

5.场景化应用，赋能运维实战

以数据作为支撑，实现运维管理的智能场景实践，包含流程智能化、容量预测、作业编排、配置数据自动采集等运维管理应用场景。

设计流程自动化,构建智能运维自动化中枢，基于事件驱动框架和标准化API集成，构建“监测-分析-处置”全链路闭环，采用自动化编排引擎与RESTful API标准接口，确保跨系统操作原子化封装。通过预置30+标准运维场景剧本，实现从基础设施层到业务应用层的闭环治理。将行内日常运维执行工作进行标准化的作业管理，实现对云上云下资源统一操作纳管，基于作业编排引擎支撑各类运维运营的场景实现，将自动化能力以标准化、服务化的形式面向运维工作进行管理，从而降低场景应用的复杂度，实现日常操作执行的安全统一管控。

三、项目技术方案

1.应用架构

一体化运维管理系统分为平台层、应用产品层和门户层。平台层实现运维数据与管理工作的集中统一，通过大数据智能分析提升运维管理决策能力与水平，此外，还预留多种标准接口及开放的接口供第三方关联系统集成调用。应用产品层主要包含平台底座、CMDB、集中告警、监控、ITSM、自动化、知识库、报表、可视化管理等，以配置管理库（CMDB）为核心，建立运维管理流程，实现对运维管理工具的全面覆盖。门户层建立统一运维展示界面（大屏）、运维门户网站等多样化运维门户，满足不同层级、不同角色协同运维的管理要求。

一体化运维管理系统整体为集群高可用架构，应用模块跨中心对称多节点部署，中间件集群、大数据处理集群、数据存储集群等需要奇数节点部署的，采用双中心部署方式，实现跨中心高可用和中心内高可用。

2.技术架构

系统采用微服务架构，支持高可用和负载均衡，各功能模块可以按需独立扩容、升级，支持多种API，并可针对用户提供定制化开发。系统组件具有较强的独立性和容错能力，可以实现单独热升级或热发布。

系统架构包含被管资源层、数据接入层、数据服务层、组件服务层、应用层和展现层。

被管资源层

被管资源层含采控代理，包含部署在最终被管主机上的本地代理和部署在特定服务器上的远程代理。代理可实现宿主机的资产配置信息采集以及自动控制、远程采集、远程脚本执行等能力，同时，远程代理也提供跨网汇聚能力，以便实现多个独立网络环境的统一管理。

数据接入层

数据接入层包括数据服务网关和数据缓存队列两个主要的组件。数据服务网关由LVS+Keepalive+Nginx组成，负责负载均衡确保不会出现单点故障；数据缓存队列采用Kafka实现，将接入的数据缓存起来，并能及时通知其他组件尽快数据处理。

数据服务层

数据服务层提供数据处理、分析及存储能力，数据的处理、分析主要通过SparkSteaming和SparkMlib，数据存储由OceanBase、Redis、MongoDB和ElasticSearch实现。OceanBase存储一些事务性强、结构相对固定的数据；Redis做多个应用共享缓存； MongoDB主要存储配置数据、告警数据和工单数据；ElasticSearch存储监控指标、日志和知识等体量大、需高效检索的数据。

组件服务层

组件服务层主要为平台提供公共的基础服务能力，包括规则引擎、流程引擎和可视化引擎组件。规则引擎提供声明式的规则设定和计算能力，完成系统中告警规则、工单处理规则等的实现。流程引擎基于Activiti实现，提供强大高效的工作流引擎，实现工单、自动化处理等功能。可视化引擎组件提供统一的数据可视化展现能力，用于可视化视图设计器、组件数据关联和视图大屏展现。

应用层

应用层包含各平台和上层运维应用，运维管理系统的应用都基于SpringBoot框架开发。在应用层提供Web访问接入网关、OpenApi接入网关和移动端接入网关，用于浏览器访问接入、第三方系统的集成和移动端接入服务。

展现层

展现层为系统用户提供最直观的人机交互界面，包括PC浏览器和移动端，主要通过React技术开发，PC端和移动端尽可能保持交互统一，为用户提供良好的用户体验。

3.集成架构

项目对接了10多个相关联系统，深度整合我行现有运维工具，形成工具链，一体化运维管理系统完成机房动环系统、基础监控系统、可观测系统、IT资产管理系统、备份系统、容灾切换系统、批量调度系统、DevSecOps、堡垒机、云平台等系统对接，打通监、管、控流程，进行全方位一体化运维管理。

四、项目过程管理

1.调研阶段：2024.05-2024.07

该阶段承建供应商项目组入场，行内跨部门组建团队，根据招标要求，完成系统需求调研，编写需求说明书，确立项目详细需求，确立项目具体实施方案。

2.开发实施阶段：2024.08-2025.05

该阶段持续进行，完成系统的定制开发，与第三方系统集成，实现与行内运维工具对接，规范数据标准，进行运维数据治理，测试验证数据消费效果。

3.阶段性投产与持续优化：2025.02-至今

行内环境部署，根据用户使用情况，持续优化，不断迭代，适配用户使用习惯和数据消费需求。

五、运营情况

项目自上线以来，已完成我行主要运维工具整合，提供统一入口。项目进行了统一的运维配置数据建模、采集、维护管理，持续推进运维数据治理，并供下游系统数据消费场景，如监控、可视化、容灾切换等场景消费。完成IT服务流程整合，创建了变更管理、问题管理、事件处理、机房进出、上下架、账号申请等多种流程，提升我行科技管理服务水平。完成与行内管理系统对接，如人力资源、短信平台、邮件系统等，用户数3000+，具备为全行服务的能力，供全行提起科技服务请求，提高科技协作效率。

六、项目成效

一体化运维管理项目的核心效益是降低运维成本，优化资源使用情况，提高运维效率，为业务连续性保驾护航。项目整合行内运维工具，利用可视化能力完成故障分析展示，缩短运维故障排查分析时间，同时利用自动化能力提高运维作业执行效率，减少重复性工作。项目推动了我行数字化运维、智能化运维转型，有效的降低了业务连续性风险。

七、经验总结

一体化运维管理项目实施建设后，弥补了我行在运维数据治理方面的不足，为智能运维提供了数字底座。在技术不断革新的当下，一体化运维管理项目建设满足了云环境和传统环境的统一运维管理要求，支撑我行科技服务转型，提升了运维管理工作质量。同时，项目结合我行新一代建设契机，将与办公系统进行联动，完成科技服务流程的推广。