一、项目背景及目标

1.项目背景

随着金融科技的飞速发展与客户需求的日益多样化，传统银行服务模式面临诸多挑战。一方面，线下网点服务受地域、时间限制，服务效率与体验不佳。另一方面，银行业务向线上化、智能化、场景化加速转型，客户对音视频交互需求激增，传统分散式系统难以满足全行级协同需求。伴随金融业数字化转型的深化与客户行为模式的根本性变革，音视频能力已成为推动银行业向“智慧服务体”进化的核心引擎。我社依托业务数智化需求为切入点，构建面向全行社的企业级金融音视频技术底座平台，基于端到端的实时音视频和智能AI技术，面向提供超高清、低时延的音视频通话服务，助力我行社实现金融服务的数智化转型。

通过音视频中台及AI技术融入金融场景，对金融服务渠道和服务模式进行重塑，融入温情化的实时音视频元素，重塑客户关系、拓展服务边界。通过构建了“线上+线下一体化”的新型服务渠道，为客户带来更加便捷、高效的金融服务体验，推动了我社业务数智化全面升级。

2.项目目标

本项目构建智能化、融合化、高可靠的音视频服务中台，推动金融服务从“功能线上化”向“体验沉浸化”跃升，全面支撑我社数字化转型与生态化拓展。业务赋能层面，打造覆盖全生命周期的音视频服务矩阵。针对零售金融，实现信贷面签、理财双录等高频业务视频化，缩短业务办理时间，降低人工成本，在对公服务领域，支持客户远程尽调、远程开户、对公销户等场景，提升单次业务处理效率。通过标准化API开放服务，未来可形成“视频服务+”跨界融合生态。技术架构层面，系统分布式微服务架构，融合TRTC云链路计算技术，实现毫秒级低时延通信能力。综合运用精确人脸识别、精准的语音识别（ASR）、逼真的语音合成（TTS）、深度的自然语言处理（NPL）、人脸在/离框检测、人证核验等音视频AI技术，实现视频服务中全自动化实时智能质检，质检结果可视化实时展示，提高客户满意度和质检效率的作用，紧密围绕行社的金融业务服务，为实现业务办理视频化提供强有力的技术支撑，助力行社构建一个高效的金融服务生态。

二、创新点

1.强化业务支撑能力

双录音视频中台为各业务系统提供了全面的视频能力支持，功能包括端到端实时音视频、智能双录（ASR、TTS、OCR）、人脸识别、智能质检等核心能力。目前应用场景如下：

场景一，与远程银行平台实现了深度融合对接，支持通过小程序客户端和远程银行坐席实时音视频通话，使用AI技术对客户进行人脸检测、身份识别、活体检测等规避业务风险，并且在业务办理全程检测客户是否遮挡人脸、是否离开视频框、是否多人同时进入视频框、是否中途换人办理，来识别客户风险并提示客户经理，不仅提升了客户通过远程银行音视频坐席办理柜面业务的便利性（如降低了老年客户通过手机办理业务的复杂度），同时降低了客户通过线上远程办理业务的风险。

场景二，通过与综合理财平台和银保通平台的对接，我行社强化了双录质检功能，双录质检过程集成了客户身份识别、人脸检测、OCR、ASR和TTS等技术。这些技术的融合应用不仅提升了客户在办理手机银行业务、理财和保险业务过程中的便捷性，同时也增强了业务操作的合规性和安全性。

场景三，通过与行内普惠金融业务系统的对接，使用双录实时音视频，客户在进行个人贷款业务时，可通过手机小程序和客户经理坐席实时通话，实现线上音视频面审面签，办理全程生成双录文件并归档永久保存以便随时调阅查看，提高普惠金融业务办理的效率和便捷性，确保业务操作的合规性。

2.强化系统自主可控能力

双录音视频中台在需求分析、架构设计以及代码实现阶段，根据信创规范要求，采用了“云平台+分布式微服务架构+国产数据库+国产中间件”的技术架构。积极推进与国产软硬件的适配工作，通过对产品深度定制开发，全面适配海光操作系统、TDSQL数据库、TongWeb中间件及移动端音视频组件。采用分布式集群架构，模块可独立开发、部署与升级，降低系统耦合度，提高系统的灵活性与可扩展性。通过构建自主可控的技术底座，摆脱对国外产品的技术依赖，提升银行系统的自主性与安全性。

三、技术方案

1.应用架构介绍

双录音视频中台应用架构包括Web应用层、传输层、应用层、中间件和数据层。

图1 双录音视频中台应用架构

1.1音视频Web层

音视频Web层主要负责与用户的直接交互，提供用户界面和前端逻辑处理。包括多种形式客户端以适应用户的不同设备需求。

（1）原生Android、iOS、鸿蒙APP

为移动设备专门开发的客户端音视频组件，它们可以直接访问设备的硬件资源如摄像头和麦克风，提供高质量的音视频体验。并支持多种音视频文件格式，处理音频与视频文件的播放与录制。

（2）微信小程序

小程序提供了一种轻量级的客户端音视频组件，用户无需下载安装即可使用。它们通常在微信环境中运行，利用RTMP技术推拉流实现便捷的音视频通话和直播功能。

（3）PC-Web坐席端

PC-Web坐席是为桌面环境设计的Web应用，用户通过浏览器访问无需安装本地应用。PC-Web坐席利用WebRTC等技术实现音视频通信。WebRTC支持网页浏览器进行实时音视频通话。

（4）Electron桌面端座席

通过Electron和C++技术开发的一种实时音视频坐席端应用，客户办理业务时通过手机移动端或小程序和坐席端进行实时音视频通话。

1.2音视数据传输层

音视频数据传输层负责数据的高效稳定传输是音视频平台的核心部分。使用Https、TCP、UDP多种通信协议，以确保数据传输的稳定性和高效性。采用SSL和TLS进行数据加密传输，保障数据的安全性。服务端通过F5进行流量负载均衡，Nginx进行服务器集群流量转发，优化资源使用提高系统的整体性能。

1.3音视频应用层

音视频VOP应用服务层为双录音视频中台核心模块，包括以下微服务：

VC主控服务是音视频系统的核心模块，负责双人会话和多人会话场景服务流程的管控与核心功能输出接口。

Busiroom业务服务根据客户业务需求自行开发构建，会话过程中的消息推送目前是通过Busiroom交互的。

Record服务负责所有通道（金融专属云与私有节点）类型的双录拉取混流和转储、双录质检数据提供、双录报表数据提供，视频补录、视频截取功能。

Adapter服务是与银行内业务系统通信用的适配器服务。

Inspect视频质检服务负责在双录拉取完成后对双录视频文件进行录制质量检测。

Visionlite后台管理服务负责整个系统的数据展示与配置管理。

Dispatch消息中心服务负责消息转发，这里的消息主要是后管的站内信、站内弹窗给坐席端的公告通知。系统中出现的异常、提示信息会通过MQ发给Dispatch服务，Dispatch 再把MQ消息推给管理端页面。

Link服务是坐席交互接口模块，远程银行座席系统集成音视频坐席，通过此服务做会话的控制交互。

私有RTC实时音视频服务用于客户端和坐席端实时音视频会话推拉音视频流。

私有IM即时通讯服务用于发送会话过程中的信令信息。

1.4音视频中间件

（1）RabbitMQ消息中间件用于各服务模块的消息存储和转发。RabbitMQ支持多种消息协议，提供可靠的消息传递服务，包括生产者、消费者、队列、交换机和绑定等。RabbitMQ 通过这些组件实现了消息的异步处理、系统解耦、数据同步、削峰填谷以及日志收集等功能。

（2）TongWeb用于音视频微服务的部署及高可用运行。TongWeb 是一款符合Java EE、Jakarta EE标准的应用服务器，它支持微服务架构，提供了容器云、微服务、监控运维等新技术功能。TongWeb 通过其强大的管理特性，满足用户应用管理需求，支持统一管控、安全管理、应用性能管理等。

1.5音视频数据层

（1）Redis主要用于存储音视频会话过程中的热数据，确保音视频通话的低延迟和实时性。Redis是一个高性能的键值内存数据库，提供了分布式锁以及座席的状态等数据，为音视频平台提供了高效的数据存储解决方案。

（2）MongoDB非关系型元数据库，用于存储音视频系统的IM账号和IM消息等内容。

（3）TDSQL用于存储音视频中台的结构化数据如坐席信息、机构信息、角色信息、会话房间信息、双录记录信息等。TDSQL是腾讯云提供的分布式数据库，它支持高并发事务处理和多级容灾，适用于金融级业务场景。TDSQL的强一致性、秒级在线扩容、企业级数据安全等特点，为音视频平台提供了稳定可靠的数据存储服务。

2.技术架构介绍

2.1技术架构图

图2 双录音视频中台技术架构

2.2技术架构说明

1.展现层使用Html、Javascript、CSS编写，采用Vue.js框架，和服务端交互时使用标准Http/Https协议进行通讯。

2.服务端使用Controller作为控制器，负责处理DispatcherServlet分发的请求，HandlerMapping来处理URL与控制器之间的映射。Service处理业务逻辑，AOP负责日志记录与时间采集，Quartz来处理定时跑批任务，MyBatis作为持久层框架。

3.数据层

Redis主要用于存储音视频会话过程中的热数据，确保音视频通话的低延迟和实时性。

TDSQL用于存储音视频中台的结构化数据，如坐席信息、机构信息、角色信息、会话房间信息、双录记录信息等。

4.整体技术栈采用Springmvc、Springboot、SpringCloud、Mybatis、Hutools、Mongodb、Rabbitmq、Tdsql、Redis等框架和中间件。

3.关联系统介绍

图3 双录音视频中台关联系统图

双录音视频中台由移动端（Android、iOS、小程序）发起音视频，通过PC坐席端接通客户端通话，双向建立通话后通过音视频辅助办理具体业务，业务办理结束后，保存音视频文件到影像平台，对视频文件进行持久化存储。

双录音视频中台通过ESB企业服务总线对接的业务系统有远程银行系统、综合理财平台、银保通平台、柜面系统、智慧机柜系统、生物识别平台、影像平台。

4.部署架构介绍

图3 双录音视频中台部署架构图

（1）移动端发起呼叫请求到互联网DMZ区，经Nginx转发到互联网应用区，再次经Nginx转发后把移动端请求转发到业务区音视频服务端。

（2）Redis采用三主三从集群方式部署

（3）RabbitMQ采用主备模式部署

（4）TDSQL采用主从模式部署

（5）MongoDB采用副本集方式部署，一个主节点两个副本节点。

四、项目过程管理

根据我行社业务需求情况，结合同业双录音视频中台建设经验，采取业务需求驱动“分阶段建设，逐步迭代”的方式开展项目实施工作。

第一阶段于2023年12月完成支持理财、保险双录业务需求，支持身份识别、语音识别、人脸检测、人脸遮挡、多人同框、双录质检等功能。

第二阶段于2024年4月完成音视频能力拓展，支持通过小程序客户端和远程银行坐席，通过线上实时音视频通话、共享桌面、办理流程全程录制便捷线上办理柜面业务。

第三阶段于2024年6月完成音视频实时通话能力，支持小额信贷面审面签业务。

五、运营情况

双录音视频中台使用TDSQL分布式数据库和TongWeb中间件，采用麒麟操作系统服务器虚拟化部署，双录音视频平台上线后系统运行稳定，系统性能、并发容量保持稳步增长。双录音视频中台上线后系统整体性能稳定，业务量保持稳步增长。截止目前支撑各业务渠道情况，理财可回溯70000+笔、保险300+笔、贷款面审1000+笔、虚拟营业厅综合业务2000+笔，各业务场景在持续推广中，满足了各业务渠道对音视频能力的业务需求和项目建设目标。

双录音视频中台在理财、保险、普惠金融、柜面业务中的应用：

1.理财业务中的应用成效

记录销售理财产品的过程，通过双录音视频技术能够完整记录理财销售过程中的风险披露和产品介绍等关键环节，确保销售人员按照要求向客户充分展示产品详细信息和理财风险，保障销售行为符合相关法规和内部规范，减少因销售过程不规范导致的潜在合规问题。

确认客户身份和意愿，利用双录音视频技术对客户的身份进行准确核实，并清晰记录客户的购买意愿表达。这能够有效降低因客户身份不明或意愿不清而引发的纠纷风险，在出现争议时提供有力的证据支持，同时保护客户和行社的合法权益。

2.保险业务中的应用成效

收集资料与记录销售重要环节，双录音视频技术能够收集保险销售过程中的视听资料和电子数据，全面准确地记录重要环节。这为责任认定提供了清晰的依据，在出现争议时能够方便地回溯到具体的销售行为和沟通内容，以便明确责任归属。

3.普惠金融中的应用成效

借助双录音视频技术，核实借款人信息，对借款人的身份和贷款意愿进行严格核实，确保贷款申请的真实性和有效性，防止欺诈和虚假申请，降低放贷风险。

记录审批过程，将贷款审批过程中的沟通和决策进行记录，为后续的审查和监督提供详细的资料。这有助于保证审批过程的公正性和透明度，同时也便于在需要时进行复盘和改进审批流程。

4.远程银行柜面业务中的应用成效

提升柜面业务规范性与可追溯性，对重要业务如账户开户、账户激活、账户密码修改、个人转账等的办理过程进行记录，使业务操作更加规范，每一个步骤都有迹可循。一旦出现问题或争议，可快速查阅办理记录，明确责任和解决问题。同时通过数字人技术，拓宽了服务窗口时间，提高了业务办理效率，降低了人力和时间成本。

优化业务办理体验，减少了纸质资料的携带，缩短了业务办理时间，提高了客户的满意度。客户不再需要繁琐地准备和提交大量纸质文件，节省了时间和精力，同时也提升了行社的服务效率和形象。

六、经验总结

吉林农信通过深入探索与实践双录音视频系统建设，不仅积累了丰富的技术经验，还显著增强了在信息技术创新领域的技术储备能力。这一系统的建设与应用，标志着吉林农信在应对金融科技变革中的主动作为和技术自信。

双录音视频技术在我行社得到了广泛应用，涵盖了理财、保险、信贷、手机银行和柜面业务等多个关键领域。这不仅提升了业务办理的合规性，还加强了风险管理，进一步优化了客户服务质量。通过与理财系统、银保通、信贷系统和远程银行等系统的对接，实现了信息的高效交互，推动了业务流程的自动化、智能化和合规化。

吉林农信的双录音视频中台建设是一个不断探索、持续优化的过程。为了更好地满足新的业务场景需求和提升用户体验，我行社将持续优化双录音视频系统，确保技术进步与业务需求的深度融合。未来基于音视频中台技术底座，探索打造"金融+社交"新范式，通过直播带货、元宇宙银行等创新场景获取年轻客群，对接政府、税务、电商等第三方平台拓展服务边界，构建开放生态。