一、项目背景及目标

企业在授信申请过程中，需要提交大量资料，如营业执照、财务报表、税务记录和征信报告等，格式多样且复杂。客户经理需投入大量时间与精力对各类信息进行提取和整合，填写授信调查报告，这一直是制约授信审批效率提升的关键痛点。

在对内办公的过程中，各级部门员工面对问题往往需要手动查阅类似规章制度、产品手册、操作指南等文本资料，无法快速准确定位所需内容，急需一款产品提供智能问答支持。

通过搭建“智能文档助手”与“移动智库”两大应用，深度赋能日常办公场景。不仅可以协助客户经理采集行内外非结构化信息，精准构建客户画像，还能辅助员工快速定位所需文本资料。

二、创新点

大语言模型的多模态技术不仅可以处理文本数据，还可以处理图像、音频、视频等多种数据类型，能够更全面地搜集与分析非结构化数据，打破各类信息载体间的壁垒。意图识别模块的引入则可提升模型对用户需求的理解能力，从而减少不必要的计算与响应时间，提升系统的效率和性能。

随着大模型参数规模不断增大，模型的训练与推理成本也随之上升。为此，大语言模型服务平台工具层引入了批处理和算子融合等模型加速技术，有效减少对模型参数矩阵的扫描次数，降低内存带宽消耗。同时，通过量化技术，平台在不牺牲模型性能的前提下，减少了所需的显存与推理时间。这些措施共同作用，显著提升了模型的并发量和能效比，确保了服务的高效运行和优质体验。

基于行业领先的大模型底座，江苏银行利用自身在金融领域积累的丰富数据和专业知识，对通用大模型进行了深入的定向训练和优化，从而使模型能够更精准地适应金融垂直场景下的语境和客户需求。通过这种定制化的微调，江苏银行的“智慧小苏”大语言模型不仅提升了对金融术语和概念的理解能力，还增强了对用户查询的精准响应，无论是在提供金融产品信息、解读市场动态还是解答复杂的金融咨询方面，都能给出更加专业和个性化的服务。

三、项目技术方案

在“文档助手”场景中，通过对通用模型的参数量、推理速度、复杂问题处理能力等多角度进行评估，最终选定130亿、340亿参数两种规模的“智慧小苏L0”系列大模型进行理论研究。

平台基于大模型“多模态”理念，结合Agent智能代理技术，准确识别用户意图，自动运用音频分析、外部图像处理等功能，实现扫描件、语音、电子表格和文本等多种类型素材的自动化提取，打通多类信息载体间的壁垒。

开发人员根据调查报告填写样本，制作训练语料，并在“智慧小苏L0”模型的基础上进行二次微调，强化其文本摘要与再生成能力。模型可根据文本信息归纳企业经营状况，结合后台实时舆情信息，实现授信调查报告的智能生成，工作效率提升42%，预计每年节省客户经理1.5万工时。

图1 大语言模型文档助手功能示例

在“移动智库”场景中，我行以数据驱动为核心，探索运用大语言模型赋能内部员工，提升工作效率，解决行内员工无法快速准确定位所需内容的问题。基于最新“智慧小苏L2”模型开发的“移动智库”，可高效地整合并提炼内外部规章制度、产品政策、财务数据、操作流程等，成为决策的智能中枢。

为了提升“移动智库”的智能化水平，江苏银行引入了最新的“检索增强生成”技术。在检索阶段，检索增强技术利用其强大的文档理解和索引机制，通过搜索引擎、向量数据库等各类专业检索工具，将自然语言转换成对应向量或SQL语句，从海量不同种类的数据中快速提取最相关的信息片段。在生成阶段，这些片段被智能地整合并生成连贯、准确的回答，极大地提升了信息的可用性和价值。

平台构建了完善的用户反馈流程，通过收集用户反馈数据，可给予模型正向的激励反馈，持续进行优化和调整，避免再次出现相同的错误。另一方面，根据及时收集的用户反馈，标注人员可快速对知识库内的信息进行更新迭代，大幅降低行内知识库的维护难度与成本。

图2 大语言模型移动智库解决方案

四、项目过程管理

该项目由大数据部牵头组织并负责具体实施，严格按照江苏银行项目管理相关制度，从计划、质量、需求等多方面进行规范化管理，项目如期完成。主要经历了以下五个阶段：

1、需求分析和概要设计阶段

此阶段为2023年11月，其间主要完成了“文档助手”与“移动智库”需求分析、功能和技术构架的高层设计。提交了现状需求分析报告、模型技术选型和接口设计等文档。

2、功能详细设计与模型选型阶段

此阶段时间段为2023年12月至2024年1月，其间主要完成了功能详细设计工作与模型选型工作，提交了系统详细设计说明书等文档，并选定Baichuan2、Yi-34B两款大语言模型进行研究。

3 、模型训练阶段

此阶段于2024年1月至2024年2月分阶段持续进行，依次准备训练集、测试集样本，并对模型的并发性能与准确率进行测试，提交测试报告。同时，升级系统模型层架构，采用批处理与算子融合等技术对模型进行加速，进行内部测试。

4、试点上线阶段

此阶段2024年3月分阶段完成。

第一阶段与PC、移动工作平台等前端系统进行联调，开发用户使用反馈模块，对模型进行持续迭代升级，改进回答生成质量。

第二阶段内部试点运行，更新知识库内容，进行压力测试。依次上线“文档助手”与“移动智库”两大场景，根据收集的用户反馈数据进行二次微调训练，提升整体准确性。

5、 推广应用阶段

此阶段时间为2024年4月至今，面向更多行内业务系统，智慧小苏大语言模型及服务平台持续探索应用场景，实现科技赋能业务。

五、运营情况

江苏银行持续跟进大语言模型发展，从参数量、推理速度、首字延迟、摘要概述、多轮问答、复杂任务解决能力等多维度建立一套模型评测标准，集成向量知识库等先进技术，持续迭代底座模型及整体框架，实现各类金融垂直场景需求的快速响应。历经半年的发展，“智能文档助手”与“移动智库”两大场景的日均调用量已达1200余次，累积调用超10万次。

六、项目成效

大语言模型赋能的“智能文档助手”已在移动端、PC端双渠道落地，客户经理可随时随地开展尽调工作，企业授信效率大幅提升。平均工作效率提升42%，预计每年节省全行客户经理约1.5万工时。

“移动智库”不仅能够提供即时的信息检索服务，还能生成深入分析和建议，从而在智能办公和客户服务领域发挥更大的作用。无论是基层经营机构还是后台支撑部门，都能通过“移动智库”快速获取信息，提高管理决策的科学性与前瞻性，显著提升业务办理效率及客户服务体验。

江苏银行作为国内第一家实际落地大语言模型的城商行，不断探索大模型在行内实际办公中的应用场景，深度赋能各级员工日常工作，进一步提升了我行品牌影响力。

七、经验总结

经历一年的发展，江苏银行大语言模型服务平台上线了多种大模型与先进技术框架，对模型进行加速，改进服务的并发量与稳定性，不断提升用户实际体验。平台采用标准化、模块化构建的思想，可快速拆分业务需求，降低开发测试周期，满足行内多场景多任务的使用需求，有效赋能业务的发展。通过探索大语言模型等先进技术，江苏银行正稳步实现数字化转型的长远目标，以创新引领行业发展，创造更大价值。