一、项目背景及目标

随着AI技术快速发展，北京农商银行紧跟技术趋势，积极探索大模型在金融业务中的落地。本项目基于国产中央处理器（Central Processing Unit，以下简称CPU）和国产图形处理器（Graphics Processing Unit，以下简称GPU）完成了DeepSeek和Qwen开源大模型的本地化部署，构建了统一AI能力底座，成功自主研发了多个智能应用，覆盖数据安全、智能办公、智能客服、智能研发、智能投顾、培训考核、风险管理、监管报送等多个领域，显著提升了业务效率与智能化水平。本项目旨在构建基于大模型的银行智能化应用体系，打造统一AI平台，支撑多业务场景的智能应用，提升服务智能化水平与客户体验，实现降本提质增效。

二、创新点

本项目为自主研发项目，团队完成了大模型的本地化部署与优化，并基于此研发了多个创新性应用。通过构建企业级AI能力底座，实现了大模型技术与银行业务场景的探索和融合，助力提升业务流程效率，推动数字化转型。项目的落地应用，为“普惠金融、科技金融、数字金融”战略目标的实现提供了技术支撑，在提升业务效率和客户体验方面展现出显著的创新价值。

（一）完全自主可控

本项目采用国产浪潮服务器，配备国产CPU和GPU，并选用国产操作系统、数据库及中间件等底层软件，构建了一个安全、高效的国产化技术底座。系统全面采用开源模型与框架，在北京农商银行完成私域部署。本项目基于vLLM推理引擎部署DeepSeek和Qwen大语言模型，开发了智能问答系统，能够高效处理用户请求，并提供精准、个性化的回答与建议。在知识管理方面，系统基于Langchain-Chatchat构建了企业级知识库，支持高效的知识检索与内容管理，推理过程中采用Xinference作为推理框架，结合BGE-M3作为向量编码模型、Faiss作为高效向量数据库、以及BGE-Reranker作为重排序模型，显著提升了检索的准确性和相关性。

（二）多系统集成能力

系统已与行内光学字符识别系统（Optical Character Recognition，以下简称OCR）和自动语音识别系统（Automatic Speech Recognition，以下简称ASR）对接，支持图像转文本、语音转文本及语义理解，广泛用于员工咨询、系统运维等场景。该系统可作为本地工具使用，大幅提升了员工办公效率，同时严格保障银行数据安全。

（三）智能应用体系完整

（1）赋能研发全流程

①基于开源大模型研发了需求分析管理和需求生成应用；②在开发辅助方面，引入CodeGeeX4与Qwen2.5-Coder代码大模型工具，支持代码补全、语法检查与优化建议，提升开发效率与代码质量；③基于开源大模型研发了测试案例生成应用。

（2）赋能智能办公

①基于离线语音识别引擎，结合降噪和静音检测技术对会议录音文件进行预处理，构建结构化会议纪要生成应用，支撑多种金融类会议纪要模板，提升行内会议纪要准确度和规范度；

②自主开发了WPS智能插件，用户可在WPS中直接使用大模型优化文档和表格内容；③自主研发了周报助手、翻译助手、文稿格式化、听音识字、看图识字等办公应用。

（3）赋能知识管理

①基于Langchain-Chatchat构建了企业级知识库系统，采用BGE-M3作为向量模型，Xinference作为推理引擎，整合业务、合规、IT等多领域知识资源，实现高效知识检索与智能问答。系统具备完善的权限管理机制，支持按部门、处室、员工等维度进行权限控制，确保了知识的安全性和合规性，通过知识库搭建，显著提升制度文件、操作手册等使用便携性和频率。②目前已建设多个面向全行员工及各专业条线的知识库，显著提升了知识获取效率。尤其在营运方面，通过知识库系统辅助办理业务，显著提高了北京农商银行柜员的工作效率和质量。

（4）赋能智能客服

①通过研发问答（Question-Answer，以下简称QA）对生成系统、QA语料扩写系统和QA语料清洗系统，支持智能客服QA对的自动生成与人工审核，降低大模型幻觉影响，自动生成多样化的客户问题，提升语料库的丰富性，提高回答精准度与客户满意度，并增加人机交互的亲切度。②通过大模型接口赋能实现话后小结和客服质检，提升客服质效。

（5）赋能数据安全

研发数据安全分级分类应用，开展数据分类分级智能打标，提高数据安全管理质效。

三、项目技术方案

（一）项目规划与实施

本项目由金融科技部牵头组织，由软件开发中心、业务研发中心、架构管控中心、运行维护中心共同实施，围绕大模型系统的功能开发、安全架构部署及业务场景适配，分五个阶段推进实施。

（1）需求分析和概要设计阶段（2024.08.01-2024.9.27）

由业务部门主导需求调研，明确大模型在智能问答、知识库检索等场景的应用目标；技术团队完成系统架构设计，确定国密算法支持、Faiss向量库集成及F5高可用部署方案。输出《系统需求规格说明书》、《系统总体设计说明书》。

（2）系统详细设计阶段（2024.10.8-2024.12.6）

完成模块化设计，细化检索增强生成（Retrieval-Augmented Generation，以下简称RAG）技术流程、数据加密传输方案及用户权限控制策略，制定《产品详细设计说明书》。同步启动DeepSeek模型的本地化适配，优化模型推理框架与国密算法的兼容性。

（3）系统编码、测试和上线准备阶段（2024.12.9-2025.02.20）

开发环境部署并启动内测，完成核心功能开发，包括用户认证、知识库检索、AI生成内容标注等模块；同步开展单元测试、压力测试与安全渗透测试，修复关键漏洞，确保系统满足二级等保要求。

（4）试点上线阶段（2025.02.21-2025.02.27）

在试点部门部署系统，覆盖智能问答场景，收集用户反馈并优化响应速度与检索精准度。完成首批次用户培训，建立《系统操作手册》与《异常处理流程》。

（5）迭代优化与推广应用阶段（2025.02.28-至今）

基于试点运行情况，持续迭代优化系统功能，提升AI生成内容的准确性与合规性，完善用户权限管理与知识库更新机制。同步推进系统在更多业务部门的集成与应用，形成覆盖全行、安全可控、持续演进的大模型应用体系。项目通过敏捷开发与阶段性目标管理，确保技术落地与业务需求的深度融合。

（二）系统总体架构

图1.大模型平台架构图

如图1所示，系统架构分为以下五层：

1.应用层

根据需求支持远程银行中心、数据信息部、法律合规部及风险审计部的相关试点应用场景，建设代码助手提供辅助开发能力。

2.平台层

建设智能体开发平台，具备开发大模型智能应用的能力。建设知识管理企业级能力，满足相关业务系使用RAG及向量化能力。

3.模型层

具备多种模型适配与管理的能力。

4.基础设施层

由硬件团队配套建设，支撑大模型应用的开展。

5.支撑层

配套建设相关的制度及接口规范等。

（三）系统技术架构

图2.大模型平台技术架构图

如图2所示，本项目构建了一个完整的企业级AI智能平台，技术架构基于Qwen和DeepSeek等国产开源大模型，搭建了AI服务模块，实现了智能问答、知识库检索等AI能力，并通过统一的AI服务接口赋能业务系统与智能场景。平台采用模块化、分层式架构设计，包括数据层、模型层、服务层和应用层，支持灵活扩展与快速迭代。

在模型层，平台集成Qwen和DeepSeek作为核心大模型，使用vLLM推理引擎实现高效、低延迟的模型推理能力。为提升知识检索与问答质量，系统采用RAG技术架构及Xinference推理引擎，结合BGE-M3作为向量模型，Faiss作为向量数据库，BGE-Reranker作为重排序模型，构建企业级知识库系统。

图3.知识库系统技术架构图

如图3所示，知识库系统的工作流程如下：业务文档经过预处理、分块、向量化后存储至Faiss向量库。用户提问时，系统首先通过BGE-M3将问题向量化，并在Faiss中检索出Top-N个相关文档片段；随后利用BGE-Reranker进行语义相关性重排序，选出Top-K个最相关文档；最终将这些文档作为上下文输入至大模型，结合大模型生成最终回答，实现从知识检索到智能生成的全流程闭环处理，保障问答质量与业务准确性。

在系统集成方面，大模型平台与员工统一认证系统对接，用户通过该系统登录后可使用大模型平台的相关功能，保障身份认证与权限管理的安全性。同时，平台从数据仓库平台获取结构化与非结构化数据，确保数据的实时性与准确性。

AI智能场景模块支持用户通过智能平台门户直接使用，同时通过接口方式封装模型服务，供业务系统调用，实现AI能力的平台化、服务化与可复用。

业务系统通过调用大模型平台提供的接口，实现AI能力的嵌入式应用，例如数据安全分级分类、话后小结、客户画像、客服质检等场景。平台还支持用户权限管理、知识库动态更新、AI内容标注与溯源等能力，满足企业级应用在 安全性、合规性与可追溯性方面的要求。

（四）安全设计

为保障大模型系统的安全性与合规性，系统按照信息安全等级保护二级标准进行设计，并围绕密码技术、身份鉴别、访问控制、日志安全、数据安全、个人信息保护、资源控制等多个方面构建了完整的安全管控机制。

1.在密码技术方面，系统全面支持国密算法，确保数据在传输过程中的机密性和完整性，防止数据被窃取或篡改。

2.在身份鉴别与访问控制方面，系统通过员工统一认证系统进行身份验证，用户必须通过认证后方可访问系统，确保访问来源的合法性与可控性。

3.在日志安全方面，系统具备完善的日志安全机制，支持分级日志记录，对所有用户操作行为进行详细审计，便于事后追溯与分析。同时，系统对敏感信息进行脱敏处理，确保日志内容不泄露用户隐私。

4.在数据安全性方面，大模型平台仅保存用户使用流水，用户不得在平台录入保密或敏感信息，系统亦不保存用户上传的文件内容，仅用于模型推理。所有模型输出内容需经人工审核后方可使用，并在输出中明确标注为AI生成内容，防止误导使用。

5.在个人信息保护方面，系统仅收集用户公开信息，不涉及个人隐私数据，符合《个人信息保护法》相关要求。

6.在资源控制方面，系统通过vLLM等推理框架对显存进行统一管理，确保模型推理资源的合理分配与使用效率，保障系统资源安全。

7.在系统高可用与容灾方面，系统通过F5负载均衡与集群部署实现高可用架构，保障模型服务的连续性和稳定性，提升系统整体抗风险能力。

四、运营情况

项目自2025年2月上线以来，广泛应用于全体员工办公支持、数据安全、智能客服、智能研发、智能投顾、培训考核、风险管理、监管报送等多个领域，有效提升了业务效率和智能化水平。在员工成长方面，通过智能问答、多领域知识库及智能出题系统，实现员工咨询、学习与培训的便捷化、智能化，赋能员工能力提升。在开发效能方面，部署需求助手、代码助手与案例生成系统，有效辅助开发人员完成代码编写及测试，显著提升了开发效率。在自动化办公场景中，应用文稿自动排版与文档智能润色工具，且通过WPS插件可更方便使用大模型，优化了日常办公流程；引入语音识别技术，缩短会议纪要整理时间、释放人力资源。在营运营销领域，通过QA生成扩写与清洗系统，赋能远程银行业务的高质量发展。在数据安全与治理方面，通过数据安全分级分类应用，提升了数据安全管理的精细化水平，增强了数据资产的合规性与可追溯性，为数据资产运营与价值挖掘提供坚实基础。

本项目基于全栈信创软硬件和开源框架自主研发，并在北京农商银行私域部署，具有完全的知识产权。目前系统运行稳定，用户反馈良好。

五、项目成效

本项目通过构建企业级大模型智能平台，融合知识库系统与AI能力，已在提升办公效率、降低运营成本、优化客户服务、强化数据治理、支持智能决策等方面取得了显著成效，全面推动企业向智能化、知识驱动型组织转型。

在办公效率提升方面，平台已部署智能问答系统、代码助手、需求助手、周报助手、会议纪要助手、WPS插件、翻译助手、看图识字、听音识字等多类智能化工具，广泛应用于日常办公场景，大幅提升员工工作效率，减少重复性操作，推动人机协同办公模式的落地。

在客户服务优化方面，项目通过客户语料生成与扩写、智能话后小结、语料清洗等能力，显著降低客户咨询的人工处理成本，提高问答匹配准确率，增强客户满意度，有效减少因回答不准确导致的客户流失，助力客户体验持续提升。

在数据安全与治理方面，项目研发了数据安全分级分类应用，实现数据资产目录中字段的一级至四级分类与安全等级、分类路径的智能打标，提升了数据安全管理的精细化水平，增强了数据资产的合规性与可追溯性，为数据资产运营与价值挖掘提供坚实基础。

在知识库系统建设与应用方面，平台已在多个关键业务部门落地实施，成效显著：法律合规部依托合规知识库，实现监管政策与合规要求的结构化管理和智能检索，提升合规审查效率与风险预警能力；

金融科技部通过IT与运维知识库、论坛智慧问答系统，集中管理技术文档，提升问题排查效率，促进知识共享与团队协作；远程银行中心建设业务知识库，统一客服知识支撑，提升服务一致性与客户满意度；运营部通过运营知识库规范操作流程，优化资源配置，提升标准化管理水平；董监事会办公室依托“领航智库”知识库，为公司治理提供战略决策支持；金融资产管理部建设理财业务合规知识库，强化业务合规审查，确保符合监管要求；审计部通过审计知识库集中管理审计准则与方法，提升审计工作的规范性与专业性；数据信息部围绕“金融五篇大文章”建设专题知识库，支撑金融科技、绿色金融、普惠金融等重点方向的政策研究与业务拓展；金融市场部通过柜台记账式债券智能投顾系统，结合知识库与智能模型，实现债券投资的智能化推荐与风险评估，提升投资决策效率；风险管理部构建统一的风险收益知识库，实现风险收益水平的多维度、自动化分析，为全行客户信用画像提供智能化支撑。通过知识库系统的全面建设与AI能力的深度集成，企业实现了知识资产的结构化沉淀、智能化检索与高效复用，推动了知识驱动型组织的构建，显著提升了业务智能化水平、管理效能和核心竞争力。

项目在降本增效、风险防控、客户服务、决策支持等方面发挥了积极作用，为企业的数字化转型和智能化升级提供了坚实支撑。

六、经验总结

本项目依托国产硬件设备和开源大模型技术构建了AI平台，为全体员工提供智能化支持，显著提升了工作效率与服务质量，展现出良好的业务适配性与实际应用价值。项目以低成本、高可控的方式构建标准化解决方案，为中小型金融机构的智能化转型提供了可复制、可推广的实施路径。