一、项目背景及目标

随着人工智能技术的快速发展，发展数字经济和数字金融已成为推动银行业数字化转型、拥抱新一轮科技革命的重要途径。利用大模型技术可以提升银行服务的智能化水平，降低人力成本，增强客户体验，提高内部运营效率。因此，江南农村商业银行持续开展新技术研究，跟进大模型发展趋势，立足本行自主研发大模型应用平台，以实现技术自主可控，并推动金融服务的创新，加快数字化转型步伐，提升竞争力。主要实现目标有：提升数据知识利用率、提升办公效率、降低运营成本、提升客户满意度。

二、创新点

（1）全栈信创生态体系的突破性构建

江南农村商业银行信创大模型应用平台，依托千亿级开源大模型，深度整合国产软硬件资源，包括向量数据库、麒麟操作系统、达梦数据库及信创GPU、CPU等，实现技术自主可控与安全，为金融信息安全提供坚实后盾。

（2）AI能力场景化多覆盖

平台打造“1+3+N大模型应用体系”，采用了国产化显卡DCU与英伟达GPU的异构算力架构，构建了稳定的基础计算能力。在此基础上应用场景集中在办公、营销、运营管理、信贷及研发等五大关键业务领域，建立一套全面的员工办公辅助系统，紧密契合一线员工的具体工作需求，达到了成本优化与效率提升的双重目的。

（3）研发效能革命性提升的工程实践

内置辅助代码插件，支持多种编程语言、多种编辑器，具备多项提升开发效率的创新能力。支持基于上下文的实时代码续写 ，显著提升编码速度；可将自然语言需求转换为可执行代码 ，降低开发门槛；并能自动生成高质量的单元测试案例 ，提升代码可靠性。通过智能分析代码结构，提供优化建议与注释生成，增强代码可读性与维护性。同时，其具备强大的代码解释与智能问答能力，能够快速解答复杂问题，并在出现异常报错时，实现快速定位与修复建议推送，全面提升软件研发效率与质量。

（4）融合跨模态协同训练的多模态OCR大模型

江南农村商业银行利用多模态大模型应用技术，集成了文本、图像等多源数据，实现了高效的信息提取，大幅提升了OCR识别的效率和准确性。

（5）强语义理解能力驱动的智能文本机器人

江南农村商业银行在构建智能问答过程，通过构建合理的提示词prompt不断生成和修正答案，并利用外挂知识库的方式，将大模型与本行特色业务逻辑相结合，提高了答案生成的准确性。这体现了RAG技术的核心思想，即结合外部知识库来增强大模型的生成能力。文本机器人展现了出色的语义理解和上下文捕捉能力。

三、项目技术方案

1.系统架构

“小江智脑”大模型应用平台可以划分为多个层次，每个层次都承担着不同的功能和任务，共同协作以实现高效大模型功能应用。采用分层架构设计，可作为大模型架构参考，遵循分层架构的设计原则：

（1）基础资源层：提供通用大模型应用平台运行时候的资源支持，包括各种CPU、GPU、内存、硬盘和操作系统资源。

（2）基座模型层：提供主流开源大模型支持，包括Qwen2.0-72B、Qwen2.0-7B、Stable Diffusion3、GLM-4V-9B等。这些组件共同构成了应用平台的核心引擎。

（3）AI能力层：AI涵盖了大模型平台的核心能力部分，为应用场景提供大模型能力。

（4）应用层：使用AI能力赋能各种业务场景。大模型的应用主要集中在办公、营销、运营管理、信贷及研发等关键业务领域，其目标是建立一套全面的员工办公辅助系统，紧密契合一线员工的具体工作需求，从而达到成本优化与效率提升的双重目的。

2.项目技术

（1）基于RAG技术的智能办公助手研发与应用：

江南农村商业银行在AI办公助手研发中，创新性采用检索增强生成 （RAG）技术架构，构建"知识检索+内容生成"双引擎驱动模式。通过将行内业务知识库、制度文件、操作流程等结构化数据与大模型能力深度融合，实现三大突破：

业务知识调用：系统可从外挂知识库中检索政策、业务规则及历史案例，突破传统大模型知识固化局限，确保生成内容紧跟业务需求；

可信决策支持：所有生成答案均附带知识来源标注，形成可追溯的决策链路，有效降低信息偏差风险，助力打造"可解释、可审计"的智能办公体系；

该实践不仅解决了传统AI在金融场景中知识滞后、领域泛化能力弱等痛点，更通过RAG技术实现了大模型通用能力与银行业务专精能力的有机融合，为金融机构智能化转型提供了可复用的技术范式。

（2）构建场景化Prompt工程体系：

江南农村商业银行系统性构建了面向金融场景的Prompt工程体系，通过多维度技术手段提升大模型对银行业务的理解与执行能力。具体包括：

场景化提示词设计：基于财务支出等高频业务场景，设计包含业务规则的结构化提示模板，引导大模型生成详细的符合要求的输出；

上下文增强机制：在客服问答中注入历史交互记录等上下文信息，提升应答个性化水平；

领域知识注入：将银行热词等专有知识嵌入Prompt，强化大模型对专业概念的精准理解；

动态策略优化：持续迭代提示词模板，结合用户反馈数据动态调整，使大模型输出与业务需求保持同步演进。

该实践显著提升了大模型在行内知识库检索等任务中的准确率，这一工程体系为金融领域大模型场景化落地提供了可复用的方法论支撑。

（3）AI Agent智能体矩阵:

江南农村商业银行基于大模型AI Agent技术，深度融合自然语言处理、机器学习与多模态交互能力：

多模态交互引擎：通过语音语义一体化建模，支持自然语言、语音、图像、等跨模态输入解析，构建日程助手、AI识图助手、AI绘图助手等场景化智能体，实现"语音指令+视觉反馈"的沉浸式交互体验；

智能协同进化：通过用户反馈数据持续优化任务执行策略；

AI Agent智能体场景化应用成效包括：领导日程助手实现会议安排、语音发布工作日志等事务的自动化处理，节省了业务人员事务性工作时间；AI识图助手、AI绘图助手支持图片理解、生成图片等任务，应用于客户经理上门打卡照片审核、绘制宣传海报等多模态场景；语音转文字助手可识别语音内容，转换成文字，应用于客户经理上门拜访客户记录，客户画像生成等场景。

该技术体系不仅突破了传统单点AI工具的功能局限，更通过智能体间的协同联动，为金融领域智能化交互提供了可拓展的技术底座。

3.重点解决问题

提升内部知识管理效率：通过智能办公AI助手，快速检索内部知识资产，提高决策质量；

优化客户服务体验：利用文本机器人提供24小时智能客服，提高问题回复率和准确性；

提高软件开发效率：通过辅助代码编程工具，提升编码效率和代码质量；

增强业务系统智能化：通过多模态大模型和专用小模型，优化业务办理流程。

四、项目过程管理

2023年11月，项目任务书下达。

2024年01月，需求分析完成。

2024年02月，系统详细设计完成。

2024年04月，系统编码、测试及上线准备完成。

2024年05月，试点上线。

2024年05月，第一批推广应用，推广信息技术部员工使用。

2024年09月，第二批推广应用，推广全部室员工使用。

2024年12月，全部推广应用完成，推广全行员工使用。

五、运营情况

江南农村商业银行自主研发的“小江智脑”大模型应用平台自上线以来运行稳定，已成功应用于智能客服、信贷审批、风险控制等多个业务场景。整体运营效果良好，为银行数字化转型提供了有力支撑。

六、项目成效

智能办公AI助手：服务超过36.3万人次，显著提升了员工的工作效率；

文本机器人：工作效率提高16倍，客户问题的有效回复率提升约30%；

辅助代码编程工具：采纳行数超过24.6万行，开发人员工作效率平均提升15%；

业务系统智能化：预估单笔交易节省2分钟，全年节约工时高达40万小时。

七、经验总结

江南农村商业银行的“小江智脑”大模型应用平台展示了如何通过技术创新来提升金融服务的智能化水平。通过自主研发的“小江智脑”平台，江南农村商业银行不仅实现了技术的自主可控，还成功地将大模型技术应用于多个业务场景，显著提高了工作效率和客户服务体验。未来仍需不断探索新技术融合，秉持创新精神，不断探索尝试新技术，持续进行模型的优化和更新，采用迁移学习等技术，以适应不同业务场景的需求。持续升级优化平台，以更好地满足客户日益多样化、个性化的需求。