一、项目方案

a、建设背景

天津滨海农村商业银行成立以来，依据监管要求，对敏感信息数据采用严格的安全管控手段，包括在开发测试、业务分析、审计监管等采用手工脚本的方式进行脱敏处理，防止敏感数据泄漏。

但随着信息化建设不断投入，各类业务系统在项目建设中需要大量高质量生产数据支持，手工脱敏方式存在数据一致性、可用性问题，且额外消耗人力成本，流程难以规范。

同时我行已拥有hadoop、Oracle、DB2、mysql等数据库及大数据平台建设，数据库种类、多源异构数据不断增多，这对脱敏能力提出更高要求。

基于以上情况，为加强数据调用管理，满足业务需求，我行进行大数据脱敏平台建设。

b、建设目标

在满足安全合规基础上，提高数据脱敏效率和质量。同时实现整个脱敏流程的标准化、自动化、智能化处理，保障数据脱敏效率和质量，进一步完善信息科技风险管理体系，满足我行复杂的脱敏需求:

• 对个人隐私类等常规数据以及客户号、款项号等非常规类数据进行脱敏处理；

• 对hadoop等大数据平台与Oracle、DB2等关系型数据库间进行数据脱敏转换，满足Oracle库到dmp文件、DB2库到DEL文件、DB2库到库后置作业导出IXF文件、hadoop平台到DEL文件、文件到文件等脱敏场景需求。

c、 系统工作流程图

d、关键技术

（1）、敏感数据自动发现：利用各类敏感信息规则，通过自动扫描发现的方式高效、方便、全同的获取敏感信息，支持灵活的配置方式（包括字段信息匹配、数据信息匹配）来自动探测数据库敏感信息字段。

（2）、特殊文本文件脱敏技术：对于oracle dump、mysql dump源进行直接解析后进行脱敏处理，并终生成dump目标。

（3）、数据库日志增量脱敏技术:通过数据库日志解析技术，实时解析SQL，经过脱敏同步至目标源，保证数据实时同步，减少源库查询性能压力。

（4）、大数据异构数据源脱敏:支持传统数据库与Hadoop平台间进行异构脱敏。

（5）、支持脱敏作业记录级别的断点续传。

（6）、内置丰富的脏数据特征库智能识别发现以及脱敏容错处理。

（7）、多种数据脱敏算法支持，如随机映射、固定映射、替换、加减值、范围随机、截断、截取、加密、格式化脱敏、依赖脱敏。

（8）、实现对各类数据库各类数据对象（如视图、函数、主键、索引、存储过程等）的实时同步。

（9）、脱敏结果高度一致性和仿真性。脱敏后的结果在格式上和内容上完全仿真模拟原始数据，不影响业务使用。

（10）、以进度条方式直观展示作业当前的处理进度、耗时，及剩余处理时间的预估。以实时滚动日志方式展现作业处理过程中的里程碑、错误、告警等信息。

（11）、根据业务需要实现对源数据的各种比例数据、多条件筛选、不同字段等多种灵活配置方式满足不同场景的脱敏数据量需要。

（12）、利用脱敏平台的追踪溯源功能，实现对脱敏后的数据追踪如脱敏的实施人员，实施日期时间等具体的关键要素信息。

（13）、提供各类审计管理功能。实时查看所有的数据脱敏任务、用户操作行为等日志存档记录，并能实现这些数据保存备份；查看CPU、内存、网络读写速率、磁盘I/O，硬盘使用情况等生成实时图形报表。通过上述手段方便审计人员的审计合规，提高审计效率。

二、创新点

a、全行数据脱敏流程标准化、有序化、透明化

通过本系统规范全行数据申请流程，系统操作人员依据工单审批，向科技部研发团队及其他业务部门提供符合监管要求的脱敏业务数据，避免存在出口不统一、途径繁多、难于管理等问题。

同时系统具备完善、统一的权限管理体系，可以针对不同用户、不同角色、不同业务系统实现数据行级的权限控制。在脱敏执行的各个环节具备详细的运行日志并可实时查看，并支持脱敏各个环节异常时的告警管理。

b、多种方式，实现脱敏自动化、智能化

数据脱敏平台采用自动抽取生产中心数据、自动发现敏感信息、周期性作业方式进行脱敏，平台支持大数据环境下的数据脱敏、Oracle库到dmp文件、DB2库到DEL文件、DB2库到库后置作业导出IXF文件、hadoop平台到DEL文件、数据库到数据库、各类文件（excel、txt、del、csv、dmp）到文件等脱敏场景，从而完成全行关键业务系统的数据离地脱敏，大大缩短开发测试项目周期，减少人力成本。

同时，脱敏结果高仿真的功能特点，大限度的保证脱敏后数据的“真实性”，即依然保持数据特征、业务规则、数据关联性，，帮助测试环节能贴近真实运行环境，促进测试系统的问题暴露。

c、进一步加强敏感数据安全管理

通过大数据脱敏平台建设，对我行敏感信息的梳理，进一步明确敏感信息范围。

大数据脱敏平台成为生产数据进入开发测试环境的***发布数据源，防止生产数据中敏感信息的泄露，保障数据安全，规避数据风险。在过敏过程中，数据从源端环境抽取经过设备内存处理后直接加载到目标环境，脱敏过程不落地，减少不必要的人机交互，避免二度数据泄露风险，满足国家法律法规对信息保护的条例规定。

此外大数据脱敏平台使用数据水印技术。数字水印技术是一种基于内容的、非密码机制的计算机信息隐藏技术。在数据安全防护中，数字水印既不影响原数据的使用价值，也不容易被探知和再次修改，但生产方可以识别和辨认。数据通过共享或交换到第三方后，一旦数据发生泄露，可通过数据溯源进行追责。数字水印手段：脱敏水印、加水印列、加水印行、嵌入不可见字符等。

三、项目过程管理

整个项目项目调研规划、项目建设实施、试运行、正式运行、系统运行维护几大阶段。从本项目的规划阶段开始至项目试运行结束，项目建设周期为5个阶段，自2020-04至2021-06。

a、 项目调研规划阶段

此阶段起始时间为2020-04至2020-08，项目调研规划阶段完成项目的启动工作，进行项目需求预研和项目调研，对项目建设方案进行规划设计。

b、项目建设实施阶段

此阶段起始时间为2020-09至2020-10，项目建设实施阶段完成,系统可交付测试。

c、项目试运行阶段

此阶段起始时间为2020-10至2020-11，系统经过操作培训、软件功能验证测试，完成初步验收，系统上线试运行。

d、 系统正式运行阶段

此阶段起始时间为2020-11至2020-12，试运行通过后，项目正式切换上线，进入正式运行阶段。

e、 系统运行维护阶段

此阶段起始时间为2021-01至至今，系统完成正式切换后，经过上线阶段完善与维护，进入到运行维护阶段。各项工作按照信息化系统常规运维规范开展。

四、运营情况

通过大数据脱敏平台，完成核心业务系统、大数据平台、CRM、ECIF系统、ODS系统、大信贷系统、零售个贷系统、联合贷系统、财务系统、支付系统、国际结算系统、农信银系统、综合理财平台、微银行系统等几十个全行关键业务系统的数据离地脱敏。

累计处理数百单测试数据申请，有效支持了多个全行重点项目的测试数据申请，全力保障测试、研发工作正常有序进行，同时向其他业务部门提供符合监管要求的脱敏业务数据。

五、项目成效

a、数据脱敏的标准化、自动化、智能化处理，大大解决此前因人工操作导致的技术手段不全、效率低下、审计困难、人力耗费成本高等问题，缩短了测试数据交付周期，月平均交付周期从5天逐步下降到1天。

b、通过大数据脱敏平台建设，对我行敏感信息的梳理，明确敏感信息范围，进一步完善信息科技风险管理体系，满足自身数据安全保护和监管要求。

c、通过高效安全的数据脱敏平台，对包含客户姓名、年龄、手机号、银行帐号等敏感信息的数据通过脱敏系统进行漂白、遮蔽、变形处理，使敏感信息保持在可控业务系统内部，明显降低敏感数据泄漏风险。

d、 满足银行业政策法规监管要求。金融数据安全关系着公民个人权益与社会稳定，通过大数据脱敏平台的建设，将行业政策要求与业务需求结合落地。根据《网络安全法》、《网络安全等级保护条例》要求，实现敏感数据的保护。符合监管部门发布的《银行业金融机构数据治理指引》等相关法律规定。

六、经验总结

通过大数据环境下的数据脱敏平台建设项目，解决了传统脱敏方式成本高、效率低、质量差，无法达到预计的效果等问题，实现数据脱敏流程的标准化、自动化、智能化处理。

同时通过大数据脱敏平台具备的敏感数据自动发现、脱敏过程不落地、保持业务逻辑一致性、复杂混合数据脱敏、异构数据库脱敏支持、以及大数据量的脱敏及高吞吐量、脏数据处理等功能，解决了我行普遍面临的脱敏后数据有效性、一致性无法保障、新增数据量大、无法定期对全量数据脱敏等难题。