一、项目背景及目标

1.市场分析

当前数字化与AI成为证券行业构建实现“新质生产力”的重要突破点，证券公司对大模型的应用由早期的对话、智能搜索、“数智人”等初级阶段，逐步向垂类应用、场景融合、生态构建等方向持续拓宽。2024年以来，大模型在证券行业的应用进入发展新阶段，多家金融机构相继推出金融垂直领域大模型，赋能机构业务各业务场景向智能化、规模化和个性化方向发展。

从大模型应用场景来看，证券经营机构一方面致力于打造覆盖自动化客户服务、研究、量化交易、智能风控、融资融券等机构业务全链条应用场景的垂类大模型应用场景；另一方面逐步从前台业务赋能向算力基建、模型适配、数据闭环、深度应用等方向转型，推动大模型建设从“AI工具应用”迈向“AI生态构建”。

2.项目背景

当前公司的规章制度、金融产品等信息较多，再加上来自互联网的数据（例如行情等），导致公司员工无法第一时间搜索到相关信息，使得员工办公效率低下，且重复劳动的工作让其无法专注于真正需要全神贯注的工作。燎元智能助手是一款基于AI大模型的集成式工作效率提升平台，旨在为提升公司员工的工作效率而设计。该系统平台希望通过智能化的公司内外部资源搜索、知识库问答和日程管理等功能，大幅提高员工的工作效率，并简化工作流程。通过减少员工在信息搜索和重复劳动上的时间投入，来提升员工个人和公司团队的整体生产力，助力企业实现更高效、更协同的工作模式，并通过打通内部各系统和外部搜索系统，实现大模型辅助办公，有效提升公司效能。

（当前燎元智能助手首页）

3.项目目标

2024年目标：该年作为燎元智能助手上线的第一年，目标重在该大模型的推广普及，让公司更多的员工知晓并使用该款AI产品，对部分活跃用户加强内部培训，让他们更好的通过大模型提高工作效率，节省重复无效劳动时间。例如员工可采用大模型搜索公司的规章制度取代在公司OA搜索，也可以利用大模型实现一键订会议室、申请出差等功能，提升工作效率。目前该目标已实现。

2025年目标：该年度重在燎元智能助手与公司相关系统（产品中心、合规系统、客服系统等）的对接，让大模型帮助员工查询相关系统的数据，让大部分公司员工实现大模型办公并在某些领域实现大模型辅助决策，以提升员工办理业务效率。例如在大模型对接公司的产品中心后，可回答各种产品相关问题，这样业务人员在查询各种产品信息时可不用一个个文件查找，直接问大模型即可，从而节省大量查找时间。

2026年以后目标：未来将逐步推动燎元辅助员工办公，能将复杂任务自动分解为子任务，并行或顺序执行，直至完成最终目标，可应用于自动筛选简历、财务报表分析、市场调研等企业级任务。也可以从各个用户互动中不断学习，优化过程以提供个性化和高效的响应，可适应用户的特定需求和偏好，如根据用户对数据呈现格式或语气的偏好调整输出，并随着经验增长与员工意图保持一致。

二、创新点

燎元智能助手将在公司各个条线和部门的落地都开创先河：

公司知识问答模块：燎元可实现公司规章制度、通知公告等信息的大融合，从根本上改变了员工搜索关键字查询公司文件的工作习惯，且大模型可利用自身的归纳总结能力，给予公司员工最准确的回答，节约员工的日常工作时间。

（2）客服智慧陪练场景：燎元智能助手将根据每个客服人员的表现和需求，定制个性化的训练计划。通过识别客服人员的薄弱环节，系统能够有针对性地提供训练内容，帮助他们快速提升技能。这种个性化的训练方式，使得培训更加精准高效，有助于客服人员在短时间内取得显著的进步。大模型不仅能够提供互动训练，还可以帮助客服人员更新和应用知识库。系统可以记录和分析各个客服人员的训练表现，生成报告并与团队分享。这样，团队成员可以互相学习、分享应对技巧，共同提升整体服务水平。同时，系统还能够根据市场变化和客户需求更新知识库内容，确保客服人员掌握最新的产品信息和服务技能。

（3）合规风控：燎元智能助手在对接合规系统后，能够辅助公司合规人员进行合规知识问答、合同关键信息抽取等任务，降低合规风险。

（4）中后台运营：大模型可通过对公司各类运营场景（不限于各类业务流程和服务规范等）的学习，可充分提示各种复杂流程，从而辅助公司一线营业部员工的日常业务办理工作，让他们能够更快捷且精准的帮助广大客户办理业务。

（5）在金融产品信息问答场景中：燎元计划在对接产品中心数据后，大模型能够融合文本、图像、表格等多种模态的信息，为金融产品信息问答提供更加全面、直观的解答，让公司产品营销人员能在第一时间得到公司金融产品的相关信息，为他们的客户提供更加准确且便捷的服务。

（6）PDF助手：该功能支持PDF文件的合并、拆分、加水印、扫描等功能，同时支持PDF文件与其他类型文件（word，png等）之间的相互转化，方便公司员工的日常办公。

Dify智能体平台：支持多模型动态路由，可接入OpenAI、国产模型等多种大模型，通过OneAPI协议实现智能负载均衡。提供 LLMOps工具链，包括模型训练监控、A/B测试、日志分析等 DevOps能力，支持 Kubernetes集群部署。还具备低代码集成优势，可通过可视化编排快速对接 CRM、数据库等外部系统，支持 API 优先开发模式。其核心定位是为开发者提供从模型管理到应用落地的全生命周期服务。

（8）RAGFlow知识库：是一款基于深度文档理解的开源 RAG 引擎，能够解析PDF、Word、Excel等多种格式文档，结合检索与生成技术提供可靠、可溯源的答案，显著减少AI幻觉。其采用多路召回机制和融合重排序技术，从海量知识中精准找到与用户问题最相关的部分，同时支持多种主流大模型，还可通过可视化流程从文档预处理到问答测试进行图形化操作，最终让员工建立属于自己的个性化知识库，方便日常工作。

三、项目技术方案

1.技术架构

（1）燎元助手系统预计采用前端后端分离的技术架构，利用SSE（Server-Sent Events）技术实现高效的数据推送机制，确保客户端能实时接收到来自服务端的最新数据，实现流畅的数据流式输出体验。通过集成OAuth2认证协议，系统与公司企业微信平台无缝对接，用户仅需通过企业微信单点登录，即可直接进入燎元系统，极大地简化了登录流程，提升了用户体验。

（2）系统内部，我们将深度融合了先进的大模型技术，利用其强大的语义理解与推理能力，精准捕捉用户输入系统内部数据中的关键信息。对这些关键信息进行智能加工与处理，包括但不限于信息抽取、整合、格式化等，以满足多样化的业务需求。借助企业微信提供的丰富SaaS服务接口，系统能够自动将处理后的关键信息同步至员工的日程管理与会议系统中，实现个人工作与团队协作的紧密衔接，提升整体工作效率与协同能力。通过这一系列的技术优化与整合，燎元助手系统不仅为用户提供了便捷、高效的数字化工作平台，还进一步推动了企业数字化转型的深入发展。

（3）在本地大模型的部署方面，我们初期采用Ollama框架，随着后期燎元助手用户的增加，对大模型的并发量、问答响应时间有了更高要求，我们及时将Ollama更新为vllm。其中Ollama是一个开源的大型语言模型服务工具，简洁易用，可以让用户执行一条命令就在本地运行开源大型语言模型，从而实现最前沿开源大模型的本地快速更新；而vLLM是一个专注于大语言模型推理加速的高性能开源框架，其核心创新在于PagedAttention内存管理技术，显著提升吞吐量和内存效率，从而满足高并发使用需求‌。

（4）在知识的整合、利用、问答等方面，我们在LangChain框架的基础上进行调优定制。LangChain是一个基于大语言模型（LLMs）的应用开发框架，旨在为开发者提供一站式解决方案，以简化和加速LLM驱动的应用程序的开发、测试、部署和监控过程，实现了标准化地对模型的集成、接入、组件化等工作。基于LangChain，我们结合本地非结构化文档知识的特点进行了知识解析、知识切分、知识检索召回、答案生成等模块的定制优化，提升知识的检索问答效果和响应速度。

（5）在大模型的选型方面，我们初期使用通义千问系列大语言模型，DeepSeek-R1开源后，燎元接入了DeepSeek-R1-671B版本，得益于该大模型的算法和架构等创新，燎元的各大模块效果提升明显。例如在合规知识问答等任务中，借助模型的强推理及内容总结能力，回答的准确性、逻辑性等有明显改善，进而显著提升了用户体验和工作效率。此外，在智能识图、语音识别、语音合成等模块，我们也基于使用需要和用户反馈，对前沿多模态大模型保持持续关注，及时进行本地部署更新。

（6）在后期对接内外部系统数据时，我们将会用到当下流行的DB-GPT模型。DB-GPT是一个开源的AI原生数据应用开发框架，旨在构建大模型领域的基础设施，通过一系列技术能力让围绕数据库构建大模型应用变得更加简单和方便。它主要利用GPT技术理解SQL查询并提供建议，旨在提升数据库操作体验。它通过领域特定训练，提供交互式、易理解且高效的SQL建议，适用于学习者和专业开发者。DB-GPT的目标是构建大模型领域的基础设施，通过多模型管理、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL（智能体工作流编排）等多种技术能力，让围绕数据库构建大模型应用变得更加简单和高效。

四、项目过程管理

项目各阶段的实施周期

第一阶段（2024年3月-2024年12月）：员工内部办公助手阶段，实现公司内部知识问答、大模型问答、会议预定等功能。

第二阶段（2025年1月-2025年12月）：燎元对接公司内部系统阶段（公司金融产品中心、合规系统、客服系统等），实现相关内部系统的知识问答。

第三阶段（2026年1月- ）：燎元逐步扮演员工的AI办公助手角色，取代或辅助部分员工的日常工作，并可通过学习部分用户的个人偏好，做到部分输出与员工的真实意图基本一致。

五、运营情况

为了让更多公司员工了解燎元智能助手，在项目的第一阶段我们做了以下推广方案：

（1）企微宣传 ：提前一周向全体员工发送企微推广通知，详细介绍 燎元的功能、优势、应用场景，以及推广活动安排，吸引员工关注。

（2）海报展示 ：在公司的人流密集区域张贴宣传海报，以简洁醒目的视觉设计和核心卖点文案，激发员工好奇心。

（3）内部网站专题 ：在公司内部网站开设燎元智能助手的专题页面，展示产品演示视频、操作指南、常见问题解答，方便员工随时了解更多信息。

在进入第二阶段后，我们预计会采用相关使用激励和竞赛活动，去鼓励公司更多的员工使用燎元：

（1）使用激励 ：设立燎元使用积分制度，员工每次使用助手完成任务、提交高质量工作成果，根据任务难度与成果价值获得相应积分，积分可兑换公司内部奖励，如食堂卡、培训机会等。

（2）竞赛活动 ：公司举办“大模型应用金点子大赛”，以部门或团队为单位，在规定时间内设计一款利用大模型完成一系列复杂工作任务，根据完成速度、质量、创新性等维度评选出优秀团队，给予丰厚奖励与荣誉表彰，在公司内部营造积极使用大模型的氛围。

系统运行情况

（1）系统性能表现

响应速度：自系统上线以来，燎元在日常办公场景下的平均响应时间保持在3秒以内。无论是处理简单的文档生成任务，如回答问题、预定会议，还是面对较为复杂的报告生成请求，均能迅速反馈，有效保障员工工作流程的连贯性，未出现因系统延迟导致的工作停滞现象，满足了员工对高效辅助工具的期望。

（2）系统稳定性

故障率 ：系统上线至今，共经历了2次小规模故障，平均故障间隔时间达到0.5小时。这些故障多为短暂的网络波动或个别功能模块的临时卡顿，且每次故障的持续时间均控制在3分钟以内，通过技术团队的迅速响应与紧急修复，未对员工的日常工作造成重大影响，系统整体可用性保持在99%以上，确保了业务的持续稳定运行。

容错能力 ：在面对员工输入的复杂、模糊甚至包含错误信息的指令时，燎元智能助手展现出了较强的容错性。它能够通过智能解析与联想，准确理解员工的核心需求，并给出合理的反馈或引导员工进一步澄清指令，有效避免了因指令误解而导致的工作失误，保障了工作任务的准确执行。

（3）系统安全性

数据保护 ：燎元智能助手系统配备了严格的数据加密与访问控制机制。所有员工使用过程中产生的数据，包括输入的文本内容、上传的文件资料以及系统生成的各类结果，均在传输与存储过程中进行了高强度加密处理。同时，系统依据员工的岗位级别与工作权限，精细划分了数据访问层级，确保只有经过授权的人员能够获取敏感信息，有效防止了数据泄露风险，为公司的数据资产安全提供了坚实保障。

合规性监控 ：系统内置了合规性监控模块，能够实时监测员工与燎元之间的交互内容，自动识别并预警可能涉及违反公司内部规定、行业法规或道德准则的对话与操作。一旦发现异常情况，立即通知相关管理人员进行审查与处理，确保公司在利AI技术提升工作效率的同时，始终遵循合法合规的运营原则，维护了公司的良好形象与声誉。

六、项目成效

在第一阶段后：燎元智能助手的公司员工使用率能达到60%，日活平均100+，月活平均400+，整体满意度达到96%以上。各功能类别估计为：知识库问答占比约82%，大模型对话占比约15%，超级助理占比约3%，各模块综合可减少公司员工20%的工作时间。

预计在第二阶段后：燎元智能助手的公司员工使用率能达到80%，日活平均200+，月活平均800+，整体满意度达到99%以上，金融产品问答模块可解决80%的产品问答问题，合规助手模块可有效帮助合规人员减少不必要的工作时间，客服助手模块可减少客服人员30%的工作时间，智能运营场景可减少运营人员40%的工作时间。

预计在第三阶段：燎元智能助手的公司员工使用率能达到95%，日活平均300+，月活平均1000+，整体满意度达到98%以上。此阶段，燎元的作用不限于通过AI节省公司员工的工作时间，在接入足够多的数据后，燎元可以实现局部辅助决策功能，比如智能投顾场景，大模型可帮助投顾人员搜集市场数据并得出相关投资建议，大大缩短投顾人员服务客户的时间。

七、经验总结

（1）项目成功的关键在于紧密围绕公司的业务需求与战略目标（“产业研究+产业投资+产业投行+综合财富管理”）展开，充分调动各业务部门的积极性与参与度，确保燎元智能助手的功能设计与实际工作场景紧密结合，真正解决公司各部门员工工作中的痛点问题。在项目建设过程中，跨部门协作至关重要，需要建立有效的沟通协调机制，打破部门壁垒，实现技术团队与业务团队之间的无缝对接与协同工作，共同推动项目的顺利实施。

（2）对于数据的重视与管理是AI项目建设的基础性工作，必须提前规划、精心组织，确保数据的质量、完整性和可用性。同时，在数据隐私（公司相关内部文件）保护方面，要时刻保持高度警惕，遵循相关法律法规与行业标准，建立完善的数据安全保障体系，为AI项目的稳定运行与可持续发展提供有力保障。

（3）员工的接受度与使用体验直接影响项目的成败，在项目推进过程中，要高度重视员工的培训与引导工作，采用多样化、针对性的培训方式，帮助员工快速掌握大模型的使用方法，提升员工对大模型技术的认可度与信任度。此外，项目的实施进度与计划安排要合理灵活，充分考虑各类潜在风险与不可控因素，预留足够的时间与资源缓冲，确保项目能够按预期目标顺利完成。

（4）基于本项目的成功经验，未来将进一步拓展燎元智能助手的功能应用范围与深度，探索其在更多创新业务领域与复杂工作场景中的应用潜力，如智能决策支持、业务流程智能优化、知识图谱驱动的智能知识管理等，持续为公司的业务发展与数字化转型注入新动力。

（5）未来我们考虑加强与外部科研机构、AI技术供应商的合作交流，构建产学研用一体化的创新生态体系，共同开展大模型在企业级应用方面的研究与实践探索，推动大模型与企业业务的深度融合与创新发展，为公司在激烈的市场竞争中赢得更大的优势与机遇。