一、项目背景及目标

云网络监控诊断面临的新挑战：

1.云内资源池网络监控诊

 云网络基础架构中，业务虚拟机间的网络监控是整个云平台稳定运行的基础保障。

 微服务架构中，服务间的网络监控是业务保障中的重要部分。

 容器网络中，pod间的网络流量迫切需要进行流量可视化分析手段进行监控保障。

2.网络与业务运维紧密结合

当前网络团队的日常工作越来越多的需要关注业务系统，与业务部门的工作也呈现逐渐融合趋势，简单、孤立的IP维度已不再满足目前的工作需求。

3.云网智能分析架构需要弹性扩展

云网智能分析架构需要可扩展的架构设计。

云环境中，网络规模宏大且资源池类型繁多，需要考虑多数据中心、多云的整体方案，避免针对不同需求重复安装探针，分散建设、分散管理的情况。

4.对云网环境的影响

应尽可能地避免对现有云环境的影响，在已经投入生产的环境中，可能存在未规划且独立的流量监控平面。

在进行流量采集部署时，需要满足平滑部署且保证业务不间断，同时，有机制保障对计算资源的消耗限制。

二、创新点

1.快速故障定位

基于全栈追踪能力，平台自动快速定位到关联的网络故障点、应用故障点，实现分钟级定位故障点。

2.单笔业务故障快速定位

基于特征值快速调出，这笔业务的完整访问路径，结合应用指标、网络指标，可在路径拓扑中快速找到问题点，先判断是应用问题，还是网络问题。

如果是应用问题，针对出现故障的两个应用进行排除，查看应用接口指标数据，确实有问题的接口。

如果是网络问题，调出出现故障的两个应用的网络路径，从客户端到服务端逐跳排除。

3.明确客户端、服务端的故障

在平台输入客户端、服务端信息，基于网络会话追踪能力，查看客户端到服务端的逐跳节点的网络指标、应用指标，基于指标基本可定位到故障点。

4.明确服务端的故障

在平台调用所关联服务端的应用，基于时间段，对故障时间段内访问这些业务的流量进行排除，快递定位故障点。

三、项目技术方案

1.整体解决方案

在腾讯云TCE的CVM母机上部署流量采集Agent，将该CVM母机上的vSwitch的所有虚拟接口及CVM母机的物理网口流量进行全时全量采集。采集到流量将发给到解析器，由解析器对原始流量进行解码，同时生成统计数据，将统计数据上传到分析器。

通过CVM母机上的采集Agent将腾讯云TCE上虚拟网络流量全部覆盖，实现云上无盲点。

应用中心ECS包含：应用中心和控制器两个组件。应用中心提供统一Portal页面登录，提供流量可视化、分析、展示和集中管理配置的能力。控制器对采集Agent进行统一管理，同策略方式实现采集流量管理和采集Agent资源限制、资源熔断等的管理。

在接入交换机、WC交换机、NFVL交换机、CLB STGW上联的交换机，配置端口镜像，将镜像流量给到TAP交换机，再由TAP交换机将这些镜像流量给到解析器。

2.平台对接

腾讯云TCE资产信息都是通过标准API方式学习，API同步的时间间隔，可跟进实际情况调整。

四、项目过程管理

1.适配X-Forward字段，先SSL前后的管理（2023年Q1）。

2.将腾讯云各个网关全部同步，实现云上资产的会话追踪（2023年4月 ）。

3.实现云下镜像点、云上资产会话流量的自动串联（2023年4月 ）。

4.特征值追踪，解决多个会话的分布式追踪能力，进一步结合接口、应用、网络指标，实现快速故障定位。（注：需要业务提供特征值，例如：TraceID、SpanID、订单流水号、手机号、卡号等）（2023年）。

五、运营情况

1.云网络自动发现及流量度量

自动发现云网络，构建云网Overlay全景图，打开逻辑网络黑盒监控，实现云网络性能监控能力。

2.云网资产自动识别及监控

自动同步资产信息，并实现资产流量可视化及性能监控，及时发现虚拟计算资源性能下降风险，分析主机资源与流量通信性能关系，界定业务故障或资源问题。

3.云上资产通讯自动感知

感知主机通讯行为，了解对外发布端口的通讯情况，及时发现非法及高危端口通讯主机主动外联可视，感知失陷通讯关系，及时处置阻断，避免或减少安全损失

4.云上应用自动识别及监控

通过流量特征，实现云上应用自动识别能力，无需沟通业务部门及研发、即可对云网内标准应用进行自动识别及监控。

5.智能基线监控与统一事件平台

实现开箱即用的基线告警能力，无需用户做任何配置，即可实现应用、云网络资源的监控，实现风险及故障提前预警。

6.回溯取证

提供租户级别自服务抓包，实现全网全流量的按需下载及在线解码功能，可针对偶发故障进行全量溯源取证；对复杂故障进行根因剖析，通过在线解码对交易会话逐个分析。

7.快速故障定位

基于全栈追踪能力，平台自动快速定位到关联的网络故障点、应用故障点，实现分钟级定位故障点。

六、项目成效

1.打开云网络流量黑盒，云上网络性能清晰可见

与腾讯全栈云平台进行完美融合，便捷、安全、轻量级的获取云内网络流量，云魔方是一款面向整个云数据中心提供平台化监控能力的工具。

2.云内故障分钟级定位，端到端连通性分钟级检测

平台提供云网流量拓扑以及会话追踪性能分析能力，分钟级进行故障定界；全自动分钟级端到端连通性检测功能代替传统的手工配置确认。

3.深入腾讯云网络模型，提升100%服务质量保障

关联腾讯云运营侧的配置信息，与采集的云网流量相结合，覆盖所有的网络通信场景，提升整个云资源池基础服务质量保障。

4.剖析云网络疑难杂症，减少200%故障修复时间

平台丰富的性能指标量覆盖时延、丢包、异常、饱和程度等网络疑难杂症，由自动计算的性能指标代替传统的手动抓包及人为分析，全资源池流量实时采集分析也解决了故障问题不可复现的问题。

5.多动态基线学习，零配置分钟级精准告警

基于多条动态基线自动学习，结合智能算法，自动生产应用、云平台资产、链路监控对象。无需人工配置阈值，实现全自动的分钟级精准告警。

七、经验总结

江苏长江商业银行采用科来云网一体化监控和统一事件管理方案，实现了主动智能告警能力，无需做任何配置，即可实现应用、云网络资源的监控，实现风险及故障提前预警。运维人员可以实现无需与业务部门及研发沟通即可对云网内标准应用进行自动识别及监控，降低了人员投入成本。基于全栈追踪能力，平台自动快速定位到关联的网络故障点、应用故障点，实现分钟级定位故障点，有效的提升了运维效率。