一、项目背景

天津滨海农商银行积极响应国家的科技赋能金融高质量发展的政策导向与规划指引，借助科技力量，构建现代金融机构和市场体系，提升金融服务实体经济质效，推动金融业实现智能化、数字化、信息化发展，推动金融科技与金融业务深度融合。

随着金融行业数字化转型加速，中小银行面临业务系统复杂度攀升、测试效率不足、风险管控压力加剧等多重挑战。传统测试模式依赖人工操作，存在回归测试覆盖不全、缺陷发现滞后、资源利用率低等问题，难以满足敏捷交付与高质量要求。与此同时，混沌工程作为提升系统韧性的新兴技术，通过主动注入故障模拟极端场景，可有效暴露潜在风险。此外，AI技术在测试用例生成、缺陷定位等环节的渗透，为测试智能化提供了新路径。

在此背景下，本行提出建设基于混沌及AI技术的测试综合管理平台，旨在完成以下目标：

智能化测试管理：融合AI技术实现测试用例自动生成、缺陷智能定位及测试数据动态编排，提升测试覆盖率与执行效率；

混沌工程初步应用：构建多维度故障注入场景（如网络延迟、服务宕机等），结合知识图谱精准识别系统脆弱点，强化容灾与业务连续性保障；

测试全流程协同治理：整合测试工具链与监控体系，构建统一的测试管理平台，实现测试计划、执行、分析的闭环管理，降低人工干预成本并提升风险预判能力。

项目建成后，助力我行实现测试效率提升，为金融业务稳健运行提供技术底座，推动我行信息系统质量测试工作在数字化转型中实现高质量发展与安全可控的双重目标。

二、项目方案

1.方案目标

以“提升测试效率、降低人工成本、保障软件质量”为核心，构建“需求分析-用例设计-脚本开发-执行监控-报告分析”全链条自动化测试体系。测试综合管理平台（Test Integrated Management System,简称：TIMS平台）完成接口、UI、性能自动化测试模块开发，形成“脚本迭代-数据驱动-质量预警”闭环机制，实现核心业务模块覆盖。

2.方案内容体系

①系统结构设计

分层架构：分为“测试用例层（管理用例与数据）、脚本层（开发自动化脚本）、执行层（调度测试任务）、报告层（生成测试结果）”，各层独立可扩展，支持跨项目复用。

环境适配：兼容Windows、Linux、麒麟、统信等操作系统，支持Web、APP、接口等多种类型测试对象，与CI/CD工具（如Jenkins）无缝集成，实现测试任务自动触发。

②核心工具选择

TIMS平台运用成熟的测试技术，标准化的测试流程，采用“关键字驱动”模式（如封装“登录”、“转账”通用字段），脚本代码规范统一（如命名规则、注释要求），开发完成后需经代码审查。

功能测试：TIMS平台引入开源的自动化测试工具，如接口测试封装Postman、JMeter，UI测试封装Selenium（Web）、Appium（APP）。

性能测试：以JMeter为底层框架，整体封装进行二次开发，支持并发用户模拟、响应时间监控，满足高负载场景测试。引入混沌工程的技术，提供丰富的故障注入手段，通过对业务系统、中间件、应用等层次的故障注入演练，保证系统的稳定性和安全性。

配置管理工具：选用开源的分布式版本控制系统，可以有效、高速地处理各种规模项目版本管理。

三、创新点

将项目管理各阶段工具平台化，同时测试实施手段积极尝试使用混沌及AI等前沿技术，以促进项目快速、高质量完成。

1.项目实施过程平台化

（一）配置管理平台

TIMS平台集合传统版本控制与开发工具的优点，既解决了版本控制系统的操作耗时长、合并复杂、易引发冲突、服务器性能要求高的缺点，也避免了学习曲线陡峭、冲突解决复杂及存在存储与性能的问题。

图 一站式开发测试全流程

TIMS平台可满足即开即用，随时随地在管理软件全生命周期，覆盖需求协同、代码提交、代码检查、代码编译、测试验证、部署、发布，打通软件交付的完整路径，提供软件研发端到端支持，全面支撑落地研发管理。

本次项目实施中，质量测试团队为了更好的管控代码版本，使用TIMS平台进行各系统代码版本管理，将应用程序发布收回至质量测试团队进行统一实施。质量测试团队的配置管理小组在项目实施前期既编制了合适本项目的配置管理方案，并制定了严格的发版流程规则。

通过TIMS平台既可以方便查看代码版本和操作人员，又可以方便历史版本管理及追踪。在平台中为每个应用系统建立对应流水线，开发人员通过拉取分支进行版本升级、代码修改，完成后合并分支到主分支。测试配置管理人员在规定时间启动流水线，自动完成编译、打包，并上传至制品库，最后自动将应用程序包部署至已配置好的各测试环境，统一了部署手段。

测试过程中的代码版本及测试版本控制通过登记簿工具进行登记管理。部署过程中如果出现失败，即时点击失败提示，查看详细失败原因，无需登录服务器通过日志查看，流水线的创建使得整个部署过程流畅而又快速。

引入TIMS平台使得在整个测试周期内，各被测系统未出现版本混乱、代码错误问题。同时流水线工具支持任务串行、并行编排；提供了可视化的参数配置方式，方便参数的新增、删除、修改、查询。配置人员易于上手，后期参数维护简单；支持在任务实施中或任务完成后设置审核，通过设置审核点，可以设置检查环节，及时纠偏过程。

（二）测试管理平台化

TIMS平台提供一站式服务，具有多租户能力。通过为多个相互独立的“租户”提供隔离化服务的架构模式，实现逻辑隔离下的物理资源共享，每个租户拥有专属的数据空间、独立的账号体系和定制化的权限配置，租户之间的数据与业务逻辑完全隔离，无法相互访问或干扰。既保证了数据安全性，又提高了多种工具操作的便利性。将功能测试管理、非功能测试管理、自动化测试管理统一纳入该平台，不仅方便测试资产的沉淀和管理，同时可以实时进行可视化监控测试进度，把控项目风险，避免因风险识别不及时导致实施工作延期，进而影响项目整体进度，造成项目成本浪费。

TIMS平台具体功能特点如下：

1.平台提供功能测试管理。测试策略、测试设计、测试执行、测 试分析、测试评估一站式测试能力；

2.平台提供非功能测试服务，可一键式发起高可用测试；

3.平台提供API调用，可实现快速集成；

4.平台可满足大规模高效协同测试，亿级用例分层级管理。

12、功能测试管理

（1）启发式测试设计，是通过思维导图的方式进行测试用例设计，能够支撑基于风险因子制定详细的测试策略和基于测试架构的精准用例挑选，来决定测试的资源投入程度和方向。

测试设计借助思维导图进行启发式测试设计，可视化承载4层(需求-测试场景-测试点-测试用例)测试设计方法，根据需求分解测试场景，根据场景分解测试点，根据测试点生成测试用例初稿，最后归档为测试用例。从需求到测试设计和测试用例天然进行了绑定，能够快速识别需求的测试设计覆盖率。

（2）统一的质量管理，TIMS平台提供“产品基线库、版本分支、测试计划”三层用例管理和评估能力，支撑团队间作业的高效协同，实现测试资产的跨版本复用，满足多版本并行研发交付的场景，提升测试资产复用率。本次项目中借助平台将功能测试案例及缺陷、非功能测试案例及缺陷、自动化测试案例统一纳入管理，满足了不同角色的查看需求。

图 统一测试质量管理

（3）测试质量评估报告，TIMS平台工具提供需求覆盖率、需求通过率、用例执行率、遗留缺陷指数等多个质量度量指标，实现指标的自动采集和计算，支持功能、性能、可靠性等维度的质量评估，测试评估周期从天缩短到小时；具备全方位的测试质量评估能力，为产品上线提供决策依据。

图 测试质量评估报告

3、非功能测试管理

（1）平台提供性能测试服务，引入JMeter测试工程，使得测试场景运行和测试结果可实时、离线查看，提供按需的私有测试集群创建、扩缩容等性能测试集群管理能力。

（2）平台提供的应用运维管理服务和应用性能管理服务，可分别监控被测服务器资源使用情况和跟踪测试交易链路，对性能问题的分析定位提供便利，提高非功能测试执行效率。

（3）平台提供性能测试报告，包括事务并发、RPS（每秒请求数）、吞吐量、响应时延等多维度统计，客观反映用户体验。支持在线和离线报告，方便无人值守测试后，对测试数据进行分析。支持报告比对，在性能测试调优阶段，可快速生成调优效果比对报表，利于调优结果判断和进度把控。

（4）平台提供混沌测试能力，可一键注入故障，提高测试效率。

图 非功能成果图

图 故障一键注入

4、自动化测试管理

TIMS平台提供了创建、管理、执行和报告自动化测试用例所需的环境、工具和资源，实现了提升整个测试流程效率和效果的目标，起到了如下作用：

（1）测试资产集中化管理，统一管理所有的自动化测试脚本、测试数据、测试环境和测试结果，方便团队成员协作，避免脚本和数据的版本混乱。

（2）测试流程标准化与流水线化，提供标准化的模板和框架来创建测试用例，保证脚本风格和质量的一致性；与CI/CD工具（如Jenkins、GitLab CI、 Azure DevOps）无缝集成，实现“一键式”触发测试流水线，实现持续的自动化测试。

（3）测试执行智能化与分布式，能够智能调度测试任务，在多个节点、浏览器或设备上并行执行测试，极大地缩短测试总时间；支持定时执行或基于事件触发执行。

（4）结果分析与报告自动化，自动收集测试执行过程中的日志、截图和视频；生成直观、可视化的测试报告，清晰地展示通过率、失败用例、缺陷趋势等，并快速定位问题根源。

（5）降低技术门槛，通过提供录制回放、关键字驱动或低代码/无代码的脚本创建方式，让测试人员即使没有深厚的编程功底也能参与自动化测试；同时，它也支持纯代码模式，满足高级测试开发人员的灵活需求。

（6）资源优化与成本控制，统一管理和按需分配测试环境、设备、浏览器等资源，提高资源利用率；通过自动化替代大量重复人工操作，直接降低人力成本和时间成本。

2、使用的主要技术

（一）非功能测试中的混沌技术应用

传统高可用测试手段已经不适合当下的系统架构和技术要求，为此针对我行分布式微服务架构，平台引入混沌技术。该技术通过平台简单配置即可模拟基础设施层（计算、存储、网络）、平台层（各类中间件、数据库）、应用层（应用系统）发生故障。一键式操作更使得非功能测试快速、准确，同时实现非功能测试流程化，进而促进项目整体实施进度。

图 私有云分层故障

（二）自动化测试中的AI技术应用

为了响应国家信创要求，开展自动化测试工具升级研发工作，纳入平台统一管理，提高测试覆盖度和测试深度，提升测试效率和质量。　

我行以往自动化测试实现主要使用Python + Selenium技术，手动编写自动化测试脚本，存在元素抓取困难，自动化测试资产管理分散、维护成本高的问题。

TIMS平台覆盖了接口自动化和UI自动化测试能力。接口自动化主要配合各系统发版后的冒烟测试和数据校验测试；UI自动化测试主要是配合柜面系统、手机银行、网银系统、微银行等系统的UI界面自动化功能验证。

本章节主要阐述具体案例为手机银行自动化测试及AI技术使用。

1、APP自动化测试

自动化实现流程主要包括四步，详细内容如下：  

（1）资产配置

以项目的名称创建一个UI应用类型的仓库；

业务分析，整理出被测系统的模块信息，以此模块信息创建页面集；

通过AI技术，获取页面元素的定位信息，并导入至系统，自动生成脚本;

创建UI应用类型的应用单元，绑定之前建立的仓库。

（2）案例设计

分析测试需求，整理出任务需求、场景需求、案例需求;

绑定已有测试案例库，建立测试案例;

编辑测试案例，创建测试节点、测试动作，绑定页面仓库，编辑测试数据，调试测试案例。

（3）场景设计

根据已有的场景需求，绘制测试场景，并绑定测试案例;

根据已分析的任务需求，创建测试任务，并添加测试场景。

（4）任务执行

调整执行配置，并保存该执行配置信息;

执行端自动化执行测试任务;

任务运行完毕后，可生成测试报告，并支持查看和个性化定制。

2、AI技术使用

AI技术在自动化测试中的应用，核心是将测试从“自动化”提升到“智能化”。它通过增强测试的健壮性、覆盖率和效率，逐步解决长期困扰测试领域的核心难题。

AI核心技术是应用特定的机器学习（ML）和深度学习（DL）技术来解决测试过程中的具体问题，本次尝试使用计算机视觉、图像差分、特征匹配技术解决测试脚本的脆弱性问题。实现过程为基准图像建立（在UI被认为“正确”时截图，作为基准）、对比执行（在新版本构建后，在相同条件下再次截图）、智能对比（像素对比构相似性指数（SSIM））。实现如下功能：

（1）自动扫描页面元素，通过AI分析页面有效元素；

（2）元素自动高亮显示，自动拾取元素定位信息，一键复制元素所有信息，并可在页面仓库中一键导入元素所有信息；

（3）图像作为元素信息，支持系统截图，自动导入至系统中，可进行图像标注及训练、推理模型生成、批量更新模型。

四、技术实现特点及优势

4.1 流水线操作

TIMS平台通过自动化工具将代码检查、构建、部署等任务串联成流水线，内置主流及常用编译构建、部署插件，支持各种语言代码下载、编译、打包、软件包存档，覆盖多种技术栈部署场景，如Git、GitHub、CodeHub、ServiceStage、Docker、API、Helm、Kubectl；多类型发布支持，如Maven、Npm、Docker、Go、PyPI、Debian、rpm、Conan、Nuget 等主流开发语言制品库；CI/CD触发构建流程。有如下优点：

（一）编排调度

1.支持代码检查、编译构建、接口测试、部署、子流水线、扩展类型等多种任务类型；

2.流水线阶段中的任务支持串行、并行执行；

3.支持根据需求定制流水线阶段；

4.流水线参数化执行；

5.支持定时、手动执行等多种触发方式。

（二）质量管控

设置自动化质量门禁，人工卡点，等待时间等控制任务。

（三）开放性

开放流水线插件，支持插件自定义接入。

4.2 混沌技术使用

混沌技术是基于用户态+内核态模拟故障，CPU将特权级别分为4个级别：RING0、RING1、RING2、RING3 。

操作系统（内核）的代码运行在最高运行级别ring0上，可以使用特权指令，控制中断、修改页表、访问设备等。应用程序的代码运行在最低运行级别ring3上，不能做受控操作。如果要访问磁盘写文件，那就要通过执行系统调用（函数），执行系统调用的时候，CPU的运行级别会发生从ring3到ring0的切换，并跳转到系统调用对应的内核代码位置执行，这样内核就为你完成了设备访问，完成之后再从ring0返回ring3。这个过程也称作用户态和内核态的切换。

混沌技术有如下优点：

1.模拟基础资源类、系统级、各类中间件、应用、交易一致性等多种故障场景；

2.新建系统高可用测试须在生产环境实施，混沌技术使用易于安全管控，统一深入故障注入入口，便于账户密码及权限管控；

3.可以一键向多个服务器注入故障。

4.3 自动化测试中的AI浅尝

计算机视觉，模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力，将图像分析任务分解为便于管理的小块任务。在手机银行测试中，使用图片AI识别，将在APP中模拟用户输入密码变得更加容易，使用图片识别使得自动化案例执行成功率提高到近100%。

五、项目过程管理

1.质量测试团队组织架构

图 组织架构图

各小组工作职责说明如下：

表：小组职责

2.项目实施过程

测试管理工作于2024年9月9日启动，2025年6月26日完成。

（一）需求分析与规划（2024.9.9-2024.10.21）‌

1.核心目标：明确混沌工程与AI技术的融合需求，制定技术选型与实施路径。

2.关键任务：

（1）梳理分布式架构下的系统依赖关系，识别高优先级故障场景；

（2）定义AI技术应用范围（如智能日志分析、动态测试用例生成）；

（3）编制项目里程碑计划，完成跨部门（开发、运维、测试）协同机制设计。

（二）平台搭建与工具集成（2024.10.22-2025.1.31）‌

1.核心目标：构建混沌工程与AI技术融合的基础平台，实现自动化故障注入能力。

2.关键任务：

（1）部署混沌工程工具（如ChaosMesh），支持IaaS/PaaS/SaaS全栈故障模拟；

（2）集成AI模块，包括基于图像识别的UI自动化测试与智能异常检测；

（3）建立生产同构测试环境，确保与真实系统一致性。

（三）实验设计与流程验证（2025.2.1-2025.4.30）‌

1.核心目标：通过七步法（目标确定→故障设计→实验执行→修复验证）验证平台有效性。

2.关键任务：

（1）采用FMEA评估风险优先级，生成金融标准用例集；

（2）实施红蓝对抗演练，联动应急平台测试容灾预案；

（3）优化AI驱动的动态测试流程，覆盖长尾故障场景。

（四）成效评估与上线准备（2025.5.1-2025.6.26）‌

1.核心目标：量化稳定性提升效果，完成系统部署与团队培训。

2.关键任务：

（1）监控TP99、可用率等指标，生成混沌实验报告；

（2）部署至生产环境，开展用户操作培训与知识转移；

（3）输出持续优化方案，建立AI模型迭代机制。

六、运营情况

1.为中小银行树立了测试管理流程化、标准化典范。其他金融机构可以借鉴该项目的成功经验，推动自身管理流程化，标准化，实现数字化转型提供成功案例。 

2.推动行业数字化转型。项目的成功实施，为其他行业的数字化转型起到了带头作用，同时提供了可借鉴的范例和模式。各行业可以结合自身特点和实际需求，提升企业数字化水平和智能化水平，推动行业的转型升级和高质量发展。 

3.提升测试管理水平。在实施项目的过程中，积累了管理智能化落地经验，推动自身测试管理体系进步完善，提升管理质量能力。

七、项目成效

TIMS平台实现了将基础设施管理，项目工程管理，测试管理，开发运维与一体，满足了平台敏捷化、弹性化和服务化需求，成功在项目实施中逐步落地。同时在测试过程中通过积极引入新技术，有效推动了项目实施进度，并更好地为项目质量把控保驾护航，具体主要体现在如下已达成的目标：

1.流水线式的操作提高生产效率。流水线操作，在分布式系统的应用方便标准化管理，流水线下既避免了代码版本出现混乱，也降低了了版本迭代风险。版本部署解放开发人员，使得他们可以有更多时间和精力投入到缺陷的修复和新需求的实现上，让测试人有跟多的时间和精力投入到案例执行和缺陷跟踪；流水线操作，只需在初期建好流水线，进而缩减发版人员，同时简化发版操作难度，对后期配置管理人员技术要求门槛降低，人力投入减少。在测试高峰期减少2/3的人力投入。

2.混沌技术使用有效提升非功能实施效率、缩减项目成本。高可用测试中单核心系统共计设计6个故障类型80个场景案例，TIMS平台集成发压与监控模块，使得非功能测试变得相对容易，随机终止虚拟机实例，测试分布式系统自愈能力，使容错阈值提升40%以上，混沌技术的使用故障恢复时间缩短至传统模式的1/3，非功能实施人员减少一成；

3.自动化测试平台引入，使得自动化测试变得容易，且便于资产的沉淀和管理。接口自动化在数据迁移测试的使用，实现了人力无法达成的全产品、全数据覆盖，为挖掘更多潜在问题发挥极大左右，因此在同样的实施时间内完成更多的测试任务，提高了测试管理效能。

手机银行APP自动化测试，适配机型3种，配合新核心功能验证，覆盖24类功能交易，24种账户状态场景共计851个，而AI技术的使用，使得自动化案例编写进步简化，自动化案例执行成功率提升。自动化测试实施效率的提高，使得测试管理效能进步提升。

八、经验总结

TIMS平台建设虽然时间紧张，遇到不少技术难题，但都在团队各成员的协同努力下解决，在项目实施过程中积累了丰富的管理经验和技术使用经验。这些经验不仅为项目的成功实施提供了有力保障，还为未来的智能化管理工作建设提供了宝贵经验。

通过本次平台化管理的建设，混沌技术和AI技术在测试中的应用，让测试管理变得更容易高效。AI技术无疑是软件测试未来发展的决定性方向，它将测试工程师从重复性劳动中解放出来，更多地投入到测试策略、复杂场景设计和质量赋能等高价值工作中。因此质量测试团队更加明确了在未来行业发展中的工作方向，将带领团队人员深入探索AI技术使用，并全面推广自动化测试。