一、项目背景及目标

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、 HTML、各类报表、图像和音频/视频信息等等。

随着金融行业的高速发展，非结构化数据的种类和应用场景越来越多。据不完全统计，非结构化数据现已占银行数据的80%以上，并且以每年55%-65%的速度增长。目前我行对于客户非结构化资料的管理分散在各个业务系统中，管理及调阅难度较大。同时监管部门在反洗钱检查中也提出建设开发客户资料统一存储系统，实现以客户为维度客户身份资料、账户资料、交易资料的统一存储与调阅，以保证客户每笔交易的完整重现。为此，我行开展了以客户为中心反洗钱管理体系的建设工作，其中非结构化数据的统一存储和调阅成为客户资料管理中的一项重要工作。为支撑南京银行未来业务发展,满足监管要求，提高非结构化平台的承载性和稳定性，更好的服务于各系统，特实施以客户为中心的新非结构化内容管理平台建设项目。

本项目为了达到实现以客户为中心的非结构化资料统一存储与调阅，支持全行业务运营、安全高效、节约成本的总体目标，主要分为四个方面进行建设：一是专业数据整合管理，实现全行以客户号为纬度的非结构化数据的统一管理，实时传输、数据共享，打破信息孤岛；二是运营支持，基于电子影像的前后台作业分离、专业化分工的流程处理，提高银行运营能力；三是高效运行，支持所有业务系统提高效率，帮助业务人员提升工作质效；四是成本与安全，和纸质资料对比，和分散式影像部署对比，管理方便，安全性高。

二、项目/策略方案

非结构化内容管理平台作为我行客户影像资料与内容存储系统，为我行提供统一的影像数据采集、影像调阅、影像传输、影像存储等功能，实现企业级影像数据的集中管理和存储，对外提供统一的影像服务。整体项目架构如下图1所示：

图1 整体项目架构

本项目包括以下内容：按客户号存储、多种接入方式、离线数据管理功能、批量接口能力、渠道控制能力、架构横向扩展支持等。各功能模块具体说明如下：

1、按客户号存储

各业务系统上传影像时，如涉及客户信息，必须上传客户号，同步根据业务种类上传对应的影像类型，如客户身份信息类、账户类、交易类等，支持按客户号、影像类型、流水号、账号等多纬度实现影像精准查询。

2、多种接入方式

支持API接口、Web端、控件、移动端（SDK、H5）等多种接入方式，方便业务系统接入非结构化平台，支持影像的采集、加工、展现，支持JPEG、PNG、DOC、PDF等多种影像和文件格式。具体影像处理功能如图2所示：

图2 影像处理功能

影像扫描：能够驱动主流厂商的各类中高低速扫描仪将纸质凭证采集为电子影像，支持分散扫描和集中扫描两种模式，允许业务员手工将不同套号的单据绑定在一笔交易中，在扫描过程中如扫描错误或不清晰的影像，能够提供重扫的功能，并确保重扫后数据仍归入同一批次交易。

影像导入：支持影像文件TIF、JPG、PDF文件导入内容管理平台，同时支持非影像文件word文件等导入。能够支持多种图像格式的显示，多版本的保存。

影像处理：支持图像增强、去底纹、去黑边、去斑点、纠偏、顺序调整，影像文件的影像文件的插入、添加、替换、删除、旋转功能。

影像展现：以缩略图方式支持查询、调阅影像文件。

影像压缩：支持照片类和公文类图像的压缩，支持快速压缩和高压缩比，降低存储的开销和网络传输的成本。

影像识别：支持自定义识别模板、支持二维码、条形码识别功能。

影像安全：主要通过添加水印，防止图像被非法攥改，防止影像信息泄密，防止前台通过非正常途径采集图像。提供全面的管理工具，对内容的访问和使用能够进行多层次的许可、控制和监督；对于保存在平台中的同一内容，不同的用户可以配置不同的权限；根据其拥有的权限的不同，可以限制不同用户对同一平台对象的操作能力；提供用户、组、对象级别的安全控制；具备日志管理功能，对敏感操作进行跟踪与记录；支持用户身份认证、加密传输等安全管理功能。

影像对比：实现多个影像分区域展现，对比，在同一屏幕下实现多张影像的比对识别功能。

影像标注：能够对影像进行标注，对标注的影像，下一环节能够看到上一环节的标注；系统能自动记录标注人、标注时间、标注内容（包括：字体、颜色）等。

3、离线数据管理功能

为了保证非结构化平台具备足够高的整体性能，合理利用系统资源，需要开发离线数据管理功能。接入的非结构化数据可按业务类型或业务流水设置有效期，到期后平台批量将结构化数据迁移至历史表，非结构化数据离线处理，并提供离线内容的管理和查询功能。

4、批量接口能力

针对部分数据量大、时效性要求低或归档备份类业务，平台提供批量上传的接口，系统空闲时自动触发入库处理，实现单次交互完成多笔流水数据提交，与实时处理通道隔离，不影响实时提交业务，保证个贷、信贷等重要系统的重要业务优先处理。并提供批量任务的查询和管理能力。

5、渠道控制能力

平台接入时具备渠道概念，可按接入系统或业务类型划分渠道。按渠道分配处理资源（处理线程数、每天大批次数等），且支持动态配置。渠道具有隔离功能，单一渠道出现异常后，可及时隔离，不波及到其他渠道。渠道具有权限控制能力，包括查询，下载，API上传、扫描上传等权限控制，支持动态配置。

三、创新点

新非结构化内容管理平台，实现以客户为中心的影像存储，多纬度检索能力支持。架构上实现横向扩展，处理能力可按需扩展。对平台级功能进行优化，接入渠道上增加移动端的影像操作支持，满足PAD,手机等移动端接入需求，丰富我行业务解决方案。终提升我行对非结构化数据的管理能力，更好地服务于各业务系统。

1、实现以客户为中心的非结构化数据的统一管理，支持按客户号查询该客户在我行各系统内的所有影像资料，同步支持按系统、资料类型、账号、业务流水号、客户名称、证件号码等多条件查询影像信息，并分批逐步完成存量影像补上传客户号、资料类型等工作，为我行以客户为中心反洗钱管理体系的建设提供非结构化数据支撑。

2、影像全生命周期管理，新平台中增加回收站和图片拖拽功能，在指定业务提交前由有权人负责审核影像资料，对于上传错误或重复的影像提供拖拽功能，有权人可将错误的影像拖至回收站内，提高影像存储的准确性；增加影像标记和影像轨迹查询，在指定环节由有权人对已审核通过的影像进行标记，如已验印、已确认、已核验等，审核人员可根据影像标记进行选择性调阅影像，满足不同岗位审核人员的需求，提升审核人员工作效率。

3、实时传输、数据共享，打破信息孤岛，通过批次自定义查询接口可以查看全行身份类、账户类、交易类影像，通过文件自定义查询接口可以查看指定类型文件的影像，为全行影像共享提供查询接口。

4、支持多渠道上传和在线查看功能，支持API接口、Web端、控件、移动端（SDK、H5）等多种接入方式，方便业务系统接入非结构化平台，支持影像的采集、加工、在线查看，支持JPEG、PNG、DOC、PDF等多种影像和文件格式。

5、支持视频音频在线播放：对于部分业务如面签核保等需要上传和在线查看视频音频，在新非结构化内容管理平台项目中得以实现在线播放视频音频。

四、项目过程管理

成立项目管理办公室对项目进度统一进行把控，包括需求梳理、架构规划、应用实施三块的管理，职责范围如图3所示。

图3项目管理办公室职能

项目排期从2020年10月份开始，到2022年11月底结束，包括项目启动、需求分析、系统开发、系统测试和投产上线等各阶段。具体排期见图4项目排期。

图4项目排期

五、运营情况

2021年5月系统上线后，运行平稳，截止2022年9月末，新平台共存储影像198,256,513张。完成了39个存量系统以及17个新增系统的对接。

六、项目成效

非结构化内容管理平台，实现客户纬度影像存储、检索能力支持。架构上实现横向扩展，处理能力可按需扩展。平台级功能进行优化，增加接入渠道丰富了我行业务解决方案。终提升我行对非结构化数据的管理能力，更好地服务于各业务系统。

七、经验总结

项目启动前征集总分行各业务部门的需求和痛点，并在平台开发过程中进行实现业务系统对于非结构化资料上传及查阅的要求，形成以客户为中心的非结构化数据的统一管理，为我行以客户为中心反洗钱管理体系的建设提供非结构化数据支撑。加强影像全生命周期管理，提高影像存储的准确性，根据影像标记进行选择性调阅影像，满足不同岗位审核人员的需求，提升审核人员工作效率。平台上线运行后持续收集用户意见及建议，不断优化系统功能，提升用户体验。