一、项目背景

随着广东农信数据中心的转型升级和运维数字化建设的持续开展，自动化运维工具和平台级的运维系统不断落地，数据中心运营场景越来越多元化，越来越多的数据中心IT保障场景需要整合协同众多的人员、流程及系统，但在日常运营保障和IT服务调度过程中，不同组织、团队、个人间的分工协作和信息互通的弊端也逐渐凸显，同时在IT资产的跨专业分层、系统关联、业务运行等方面存在建模映射与可视化管理的能力短板；运维数据动态消费与价值挖掘的利用程度不高，IT资产的活动关系与数据价值难以释放。

为优化数据中心IT活动统筹执行过程，充分整合跨组织、跨团队、跨员工间的零散任务项，更好地实现过程及结果信息互通，推动运维各条线工作协同、有序、安全开展，提升数据中心保障效率，特此建设数据中心指挥调度项目。

数据中心指挥调度项目作为广东农信数据中心的运维保障活动及IT运行资产可视的统一管理平台建设项目，承载着数据中心内专项IT活动的任务制定、高效分派、统一指挥、动态调度、信息触达等职能，本项目所建设系统与其他运维工具、系统的关联关系如下：

本项目系统集成指挥调度系统、运维协同管理系统、数据中心IT运行可视化系统，指挥调度系统承接数据中心活动设计、认领、触达、调度、收集及分析能力，并基于统一接口（即运维协同管理系统）接入监控管理系统、自动化平台、配置管理系统、IT服务管理系统、智能运维工作台及钉钉生态，实现运维侧第三方系统及工具的协同管理。上层应用数据中心可视化能力，基于地图能力、三维能力、拓扑能力、监控能力和指标能力等全栈可视技术能力，形成数据中心IT可视化能力实现从基础设施到业务应用、从物理环境到逻辑环境从IT实体到干系运维人员的分层追踪和溯源管理。

三、创新点

一是构建精细化运维大型保障活动管理创新方式，实现活动的全过程管控和闭环跟踪管理。

围绕“网格化”、“清单化”、“自动化”、“数字化”四方面目标，以数据中心运营保障活动为导向，解决大型活动中人、任务、时间三者管理困难的问题，实现数据中心“人”“事”“物”的集约化调度。构建底层一体化调度，创新数据中心活动管理标准，涵盖创建、分派、认领、执行4个动作。框定数据中心场景活动，覆盖日常投产变更、业务高峰保障、ECC操作维护等运行场景，将活动与任务设计工作前移，实现人员、任务、对象的资源统筹分配与调度时序控制的数字化管理。实现指挥层的可决策、可指导，调度层的可创建、可分配、可协调、可报告及执行层的可确认、可操作、可反馈。

二是构建统一的运维协同平台，优化运维服务流程，打破数据中心内各技术条线组织壁垒。

构建统一运维服务发布与订阅能力，实现接口标准化管理，设计和管理运维及协同系统的API接口，覆盖自动化平台、配置管理系统、IT服务管理系统、悦农E钉等运维工具或第三方系统，实现服务的目录级管理和版本控制，保证系统与系统间的快速交互。形成事件驱动的订阅与发布机制，实施身份验证和限定授权，确保数据交互的安全性，提高运维内部自组织性和协同效率。

三是应用三维立体多屏可视化技术，释放孤立数据价值，拓展数据中心上层全局可视能力。

创新将数据中心人员数据、资产数据、动力环境数据、实时运行数据、机房视频数据等多维度数据融合，并通过三维可视化技术直观、立体展示，覆盖大、中、小屏全生态设备，应用及适配大屏、电视机、电脑、手机等多终端投放场景，支持数据中心内物理实体和逻辑实体可视化联动呈现，实现数据中心内数字实体的三维分层展示和上下追溯，为数据中心运维人员提供全面、准确的信息支撑，引导数据中心内部各专业条线充分利用IT资源与人力资源，通过信息化、可视化手段，提供提升数据中心运营效能和应急响应能力。

四、技术实现特点及优势

4.1、采用3D技术作为可视化底座能力，提升数据中心IT资产全局立体化管理水平。

采用国产三维引擎技术，实现系统从配置、部署、升级、维护的全程可控，从三维可视的角度整合运维管理数据，以可视化界面为统一入口，构建一个统一的可监、可控IT运行可视化系统。将建筑楼宇层到基础设施层再到IT基础构架层的运维过程对象、数据进行集中管理，通过基础数据分析、三维管理、逻辑拓扑、专题场景等手段发挥运维数据对日常运维工作的支撑作用，以满足数据中心运维管理的实时、高效、可监、可控要求。

4.2、创新应用数字孪生技术，加快数据中心多维数据融合和虚拟数字模型驱动。

构建了从建模管理、场景搭建、对象配置、业务配置和数据对接的一站式数据中心孪生可视化工具能力，基于三维可视技术实现从机房、物理服务器、交换机、路由器等到应用系统等的IT运行实体的数字建模与展示，同时扩展数字实体对象模型数据同步和运行管理能力，加快运维人员到IT实体与可视化孪生体之间的数据流和信息流传递，结合自动化平台工作手段，实现数据中心实体感知接入和决策执行，实现以虚控实的效果。

五、项目过程管理

广东农信于2023年3月完成本项目第一阶段实施，构建运维协同服务管理能力，实现多系统的服务统一发布订阅管理，涵盖生产服务器自动化操作、定制化消息触达、配置数据实时同步等能力场景。2023年7月完成本项目第二阶段实施，建成数据中心日常运营指挥调度管理，具备活动设计、活动管理及运营分析等能力。从活动中任务调度时序设计，到接入自动化工具、定时自动执行，自动获取过程及结果数据，实现过程实时调度、结果实时反馈。2024年2月完成项目第三阶段建设，建成数据可视化、运行架构可视化和专题场景可视化能力，构建从系统资源、应用资源和网络资源视图分层展示能力，并完成多主题三维可视化场景建设。项目目前持续开展场景运营中。

六、运营情况

项目以数据中心日常投产变更活动场景为切入点开展实施，抽象数据中心资源调度关键逻辑。试点验证成功后，数据中心指挥调度系统将逐步对接各数据中心专项维护与保障场景，实现日常运营保障和IT服务实施的实施跟踪和高效管理，动态呈现任务与人员轨迹，实现全局指挥、动态调度、以虚控实。目前项目已完成切换演练、年终决算、春节高峰保障、支付高峰保障、投产变更、ECC操作调度等6大场景交付，进入常态化运行阶段。

七、项目成效

项目成效1：建成六大专项保障指挥调度场景，提升数据中心运营保障效率。

构建数字化数据中心运营保障活动管理平台，聚焦灾备切换演练、业务高峰保障等数据中心运维保障场景，实现“人”、“事”的网格化管理，推动自上而下的数据中心两地全局管理指挥工作开展，解决跨域办公下的人员管理困难问题，助力运维人员更精确了解自身任务时序，减少冗余的协同成本，同时通过自动化工具的接入，大大降低日常工作内容的复杂度，从而减少日常运行维护和专项保障工作的时间和成本，切换演练活动开展切换、检查效率提升约55%，日常维护操作遗漏率降至0%。

项目成效2：建立一体化的应用系统全景墙，实现应用系统的全局可视和立体化感知。

通过构建应用全景墙，分级分类管理数据中心庞大的应用系统群，接入应用系统关键静态属性与运行指标、监控告警信息：实时呈现性能指标数据，包括CPU、内存、磁盘和IO等，具备实时故障、告警提醒，助力数据中心管理层全局掌控运行情况，辅助应用侧运维人员快速定位应用级故障，提升应用的精细化管理水平。

项目成效3：全面消费数据中心IT资产数据，高质量反哺配置管理数据质量提升。

作为数据消费方和数据质量优化促进方，消费CMDB数据，基于CMDB模型扩展监控告警模型，分层覆盖监控属性，多维多层扩展指标属性，覆盖4个数据机房、98类物理和云资源对象、28个重要应用系统运行架构和200多套应用系统的应用全景墙，完善、纠正配置配置数据错误、缺失等问题，包括物理服务器U位冲突、交换机品牌型号缺失、应用系统运行状态错误等，数据质量整体提升约30%。

项目成效4：增强数据中心资源调度感知，形成运营保障过程的风险预警能力。

打造ECC操作间协同调度可视场景。通过对ECC内变更、应急、查询等动作全生命周期可视化，建立“人”“单”维度的立体可视分析视图，对人员流量、进出事由、操作过程与结果进行分类、统计及汇聚可视呈现，实时监测及感知ECC操作间运营情况，提供可监控、可管理、可分析的生产访问统一管控中心，帮助数据中心运维人员识别并应对潜在的违规操作、现场风险等问题，保障数据中心内部生产操作的安全、稳定和高效。

八、经验总结

数据中心指挥调度系统建设，是广东农信数据中心数智化转型建设的重要探索，项目实施难度较高，需要综合考虑和突破技术复杂性、数据整合、系统联动、运维管理以及合规性要求等多个方面因素。

项目依托广东农信数据中心保障场景，完成指挥调度系统、协同调度系统及数据中心IT运行可视化系统建设，基本实现数据中心内关键活动的统筹调度管理，覆盖数据中心机房可视、运行架构可视和大屏可视构建能力，未来将持续探索AR/VR、物联网、数字孪生等技术，深度运用跨时空数据交换和业务协同，动态呈现任务与人员轨迹，实现数据中心跨域以虚控实、全局指挥、动态调度，提升数据中心运营保障水平，确保数据中心的稳定、安全和高效运行。