一、项目背景及目标

本项目是以保障业务连续性为目标，为运维人员及时发现应用故障、迅速解决故障问题提供支撑，为后续建立统一应用运维管理平台提供业务监控运维数据的高效IT服务平台。本项目主要包括两大部分，一是以实时监控功能为主的基础功能模块，包括：应用分析、服务路径图编辑、交易追踪、长周期可用性监控、长周期统计监控、智能告警、故障定位、告警配置、历史数据；二是以数据分析功能为主的功能模块，包括：多维度统计、外部数据整合、大屏展示。

同时，我行积极响应国家自主可控的战略要求，从硬件设备、到服务端的处理器、操作系统等统一进行信创化适配，实现交易链路监控系统在国产化服务器平台下的部署运行，从而达到完全自主可控的目标。

二、创新点

1.直观化、实时的业务全链路监控

通过梳理业务路径，交易解码，画出业务路径，搭建端到端的全链路监控场景。从客户端发起请求，历经网关服务器、应用服务器、ESB服务总线等多个服务器节点，直至最终响应返回客户端，实现单笔交易端到端的全链路追踪。通过服务路径图，以直观化的方式呈现业务路径，当前1分钟内每个节点的详细性能数据都会实时更新展示，助力系统运维人员及时发现潜在问题，定位故障点。

2.多维度告警

多场景告警覆盖。覆盖高频、关键金融交易故障的五大场景，将告警场景化。针对系统的不同交易的特性，采用不同的监控告警场景，设立多个维度的监控指标，一旦监测到异常，能迅速触发告警告警，自动定位故障根源节点，并解析故障域，自动展示影响故障发生的维度和纬度值。

灵活的告警策略设置。根据交易的不同的维度设置个性化的监控策略和告警策略。针对不同类型的交易类型，定制差异化的告警策略，设立了分组、分维度、分时间、多层级的告警策略体系。

3.告警智能化分析

自动化故障定位与诊断。基与服务路径图与算法，产品具备自动化故障定位与诊断能力。故障出现时，平台自动快速分析并定位到问题所在节点，精准找出交易失败的具体服务器节点。

多维度钻研分析。强大的多维度分析能力，在告警信息出现时，交易解码时设立的多个评判维度，利用系统自带的交易分析模型，多维度交叉深入分析，挖掘数据背后潜在的问题，为优化业务性能提供有力依据。

4.基于大数据模型的监控基线训练

通过深入挖掘历史交易数据，利用大数据模型训练交易监控基线，并在生产上不断进行调优，现已完善多条监控基线。

三、项目技术方案

1.数据接入方式

本项目采用了无侵入式的数据旁路部署方式，即通过镜像流量网将真实生产数据复制一份发送至交换机，由交换机进行初步的数据过滤，把过滤后的流量传输到系统BPC解码分析系统中进行多层次解码，支撑网络、应用、业务等多种运维场景。同时，结合交易链路拓扑图，实时展示交易各节点的四大黄金指标，动态感知业务连续性。

2.部署方式

本项目部署采用双中心双活方式进行部署，正常情况下通过交换机将双中心流量汇聚到一起，发送至主中心进行解码分析，紧急情况下可以通过更改配置将流量全部切换至另一中心，实现双中心双活。

四、项目过程管理

项目各阶段的实施周期，如图6.1所示。

6. 1 项目生命周期图

五、运营情况

本项目自上线后持续稳定运行，接入监控系统共计40个，实现了核心系统、综合前端、手机银行系统和企业服务总线系统等行内17个重点系统全覆盖。设立交易监控规则812条，覆盖金融领域常见5大故障场景，实现了多维度、多场景、全链路的交易监控体系的建设。利用历史交易数据通过大数据模型，训练出交易监控基线9条，实现智能化交易监控告警，监控指标可随交易情况自动自适应调整。完成全行监控基板的制定，完善行内交易监控体系制度。连通网络智能运维平台、自动化巡检平台、监控大屏、数据大屏等外部数据平台，对外提供精准、可靠的交易分析数据。

六、项目成效

1.建成业务级全链路交易监控平台

业务全链路追踪。本项目通过系统流水号进行系统串联，实现单笔业务全链路的追踪，可视化展示交易生命周期旅程，直观的展示业务错误节点，实时监控告警，智能化分析告警信息，为故障排障降本增效，大幅减少运维人员工作量，提高工作效率。项目实施后，单系统故障的平均排障时间从15分钟降至了3分钟以内，大幅度缩短故障定位时间，提高故障排查精度。

基于大数据模型的监控基线训练。针对不同的系统，采集系统不同时间的数据集，设置拟合曲线的敏感度，不断的过滤干扰数据，通过多轮模型的训练，生成更贴近交易情况的监控指标基线。目前已训练生成9条监控基线，且已投入生产使用，时刻监控着系统的指标波动情况，保障了系统的平稳运行。

多维度告警和智能化分析。在交易解码时，通过交易解码功能，对于交易报文进行多字段解码。在监控告警设置时，针对系统中不同交易类型的特性，灵活使用不同的监控场景，通过多种维度的指标和交易监控基线，设立了交易监控规则812条。在智能化分析方面，以手机银行为例，在项目实施后，通过多维度的告警信息，系统的智能化分析后发现手机银行历史存在的一个组件兼容性问题，该故障出现时会有特殊的交易指标波动，在以往的交易监控系统中无法对交易的波动情况进行监控，故无法发现该问题。

2.建成全行级告警数据基座，连通多个上层告警分析系统

项目实施完成后，通过统一对外的调用接口，将交易解码数据及其告警数据实时输送外围系统，如智能化运维平台、集中监控可视化系统等上游系统。同时，项目可保存原始交易数据至本地，对于非现场监管报表和系统数据核对提供了方便。

七、经验总结

本项目以建设交易全链路监控为核心目标，同时考虑到了对业务连续性的影响，引入了旁路式流量分析技术，实现了以交易流水号为串联基础的交易全链路追踪功能。该项目通过实时数据采集与分析，构建了统一的告警数据基座，并对外提供标准化的调用接口，实现了交易解码数据的共享与服务化输出。同时，项目还具备原始交易数据的本地存储能力，为后续的非现场监管和系统核对提供了数据支持。

本项目的推广经验主要总结如下：

1.实时监控与告警

实时报文解码分析，可视化展示各应用节点四大黄金指标，动态感知业务连续性，通过大数据训练不断微调监控基线，实现精准告警。

2.业务全链路追踪

通过可视化展示展示交易生命周期和业务故障节点，用流水号即可查询交易全链路过程，实现了故障快速定位，显著提升了运维效率。

3.数据共享与服务化

通过统一接口实现告警数据和交易数据的对外共享，为外部数据分析平台提供数据支撑，有效减轻外部系统的数据分析压力。