本文来源于:2024年“鑫智奖”第六届金融数据智能优秀解决方案评选,作者:上讯信息关键词:数据治理,数字化流程,数据治理与数据平台
上讯信息:数据交付流程编排自动化解决方案
2024-02-28
6183
一、解决方案简介
数据交付流程编排自动化解决方案主要适用于银行业数据从生产域到测试域的交付流转场景,通过CDM技术、静态数据脱敏技术实现从数据采集、传输、存储、脱敏、交付、销毁各个环节的自动编排,保障数据安全的同时降低人力运营成本。
数据交付流程编排自动化解决方案是以副本数据管理CDM技术为基础,贯穿银行生产域、备份域、测试域进行自动化的数据单向流转,通过对生产数据的采集、传输、存储、脱敏、交付、销毁各个环节的作业编排,实现金融数据以策略驱动的智能共享,以保障金融数据安全为首要目标,提升金融数据流转的自动化和智能化水平,满足银行业下游业务对金融数据的使用需求,包括开发测试、统计分析等应用场景。该方案的部署采用节点式部署,既满足功能节点的横向扩展,也具备在数据量快速增长时对存储扩容的能力。
二、应用场景痛点简介
近年来,随着数字化转型进程的加速推进,金融创新中数据要素的价值受到了重点关注,大化挖掘数据要素潜在价值实现金融数据赋能是金融行业科技工作新的着力点。银行业作为金融行业的首要领域,数据具有高敏感性和高价值性的特征,对数据的安全保护有着极高的要求,通常银行业针对数据的存放采取区分环境域存放,各域之间执行严格的隔离措施,数据在各域之间流转需要依赖使用需求、传输介质、数据体量等因素,鉴于金融数据的交付流转过程受到时效性和安全性的限制,如何在保证数据安全防护的前提下,提升数据交付流转效率是银行业当前考虑的重点,实现数据交付流程的自动化作业编排是为有效的方式之一,也是构建数据赋能业务场景基础供数能力的重要解决方案。
随着数字金融业务领域的拓展,新业务的开发测试需求更为频繁,测试域频繁需要大量测试数据进行系统开发、版本升级、回归测试等,相较于以往的测试造数,当前测试域更倾向于通过生产脱敏后供数,一方面可以保证测试数据的真实性符合验证条件,另一方面可以适时与新的系统开发版本保持一致,提高开发测试与版本迭代的效率。因此,金融数据的流动从上游的生产域按照预设的流程编排自动安全地流转到下游的测试域,将为银行业丰富的数据应用场景提供****的数据交付体验,解决金融数据在数据流转过程中面临的安全与效率的双重管控压力。
三、解决方案亮点介绍
上讯信息主营数据安全治理业务,主要面向以银行业为首的金融客户群体,解决方案覆盖证券、保险、基金、期货等金融机构。上讯信息从事数据安全技术创新10余年,积累了大量数据安全行业技术经验,专注于数据治理等领域产品的自主研发,早在2016年上讯信息就依据CDM技术理念成功研发以数据库虚拟化技术为核心的敏捷数据管理平台(ADM)产品,并于当年申请国家发明专利,以此为金融行业提供了专业的数据安全治理领域的解决方案,由于上讯信息对金融行业客户的数据使用现状与数据治理需求理解深入,现已与20余家大型银行建立了长期稳定的合作关系,包括中国工商银行、中信银行、华夏银行、厦门国际银行、宁波银行等业内技术领先的银行客户。
数据交付流程编排自动化解决方案主要通过部署敏捷数据管理平台(ADM)产品实现,通过在用户环境的生产域和测试域分别部署一台敏捷数据管理平台(ADM)产品,两台之间通过专用线路以开通端口的方式进行数据的单向传输,自动化的流程编排通过图形化的数据画布按照步骤环节实现不同业务流程的自动处理,目前完整的数据流程编排为数据备份恢复验证、安全脱敏与交付流程的全自动任务编排,其中恢复验证和脱敏数据交付也可实现独立的任务编排。从物理部署角度来看,生产域的敏捷数据管理平台(ADM)主要用于备份生产域的生产数据或恢复备份服务器中的备份数据,数据获取后生成基于CDM技术的“黄金副本”,交付流程的任务编排是基于黄金副本开始的,首先按照数据交付的需求选定数据源即某一份基础的黄金副本,然后根据基础数据的容量分配空闲的存储资源;再基于CDM技术快速创建一个生产数据的虚拟副本,此时,按照预设的数据验证需求可预先上传数据验证脚本,自动地开启恢复数据的校验过程,或按照预设的数据脱敏需求联动数据脱敏模块启动对恢复数据的数据脱敏处理,数据脱敏可按照数据脱敏向导按步骤操作;如上一步完成对数据的安全处理后,可对虚拟副本创建数据快照,通过单向传输端口,推送到测试域的敏捷数据管理平台(ADM),测试域ADM根据业务需求向不同的测试目标机创建具有固定时效期限的虚拟副本,交付到不同的测试组,测试组根据自己的业务需要实现测试数据的回归测试、批量测试等,如需记录测试数据版本,测试组可设置自动快照对测试数据进行定时快照,在预设时效期到达之前会提醒测试组成员“即将收回数据资源”,测试组成员可根据需要申请延长虚拟副本的使用期限,也可以按照计划完成测试任务,删除所有数据快照,等待数据资源到期收回,自动清理任务缓存,释放存储和服务器资源。整个流程的自动化编排实现了金融数据以自动化策略驱动的数据智能共享,对金融数据的安全高效应用提供了全流程的解决方案。

金融行业应用本方案的优势主要体现在三方面,分别是保障数据安全、提高数据流转效率、提供智能服务体验。
1.纯闭环式的数据流转过程,保证金融数据安全流转
生产数据作为数据流转的源头,是数据使用与管控的前提,严格把控数据源入口,实现闭环式自动化获取生产数据的管理流程,制定获取任务计划,统一授权、全程监控,可以保证数据入口的集中统一,减少人为参与带来的安全隐患。生产数据获取后,通过联动数据脱敏模块自动扫描敏感数据,全面精准定位敏感数据源,以丰富的脱敏算法与仿真的字典库相结合,保证脱敏后数据仍具有业务属性,不影响数据价值分析。
金融行业生产数据涉及组织与个人的隐私信息,包含大量资产数据,一旦发生泄漏将面临不可估量的损失,甚至可能发生人身伤害等违法犯罪事件。因此,作为中间处理的关键环节,对生产数据进行脱敏处理是必不可少的组成部分,可有效减少数据隐私泄露的风险。
2.流程化作业自动编排,加速数据流转的效率
基于获取的生产数据,制定数据策略选择、存储资源分配、应用环境选择、数据验证、数据脱敏、数据交付、资源回收、消息通知的流程化作业编排模板,保证在完成某一生产数据的获取后,自动调用任务模板执行数据流转任务,为保证传输的安全性,传输通道设置为单向传输,传输策略可灵活设置为定时传输、实时传输,传输过程中监控传输进度、带宽资源占用等情况,以此优化调整数据传输的效率和资源。
该方案的核心技术采用基于CDM的数据库虚拟化技术进行流程编排,流程中交付环节通过分钟级创建多个虚拟副本,快速将脱敏后数据作为测试数据分发到开发测试、统计分析等多个场景,这一过程有效减少了下游数据应用场景中数据供应的时间,通常从按天计算缩短到按小时计算,至少可以节省80%的时间,大大提升了数据传输流转的效率。
3.数据全自动化流程编排,实现了智能化的数据共享
金融数据交付流程编排是利用数据备份、备份数据自动化恢复作为基础数据,通过数据验证、数据脱敏、数据副本的分钟级交付,实现脱敏源数据的快速准备、联动脱敏、并将脱敏后的数据单向推送到测试域,从而实现数据的获取、存储、脱敏、发送/接收、交付、回收、清理的全流程管理。同时,针对流程编排中的交付环节支持快照记录状态,即对数据状态进行实时或定时的快照,一旦需要回归测试,可快速启动快照进行状态回退。尤其针对测试域实现多副本在线交付的数据,一个数据状态即为一个数据版本,不同版本之间可以实现切换、回退、前滚、后滚,用于对应不同的系统开发版本,这一功能明显提升了版本迭代的灵活性。
此外,通过可视化的结构拓扑图,帮助银行用户了解数据交付流转的关联关系,完善数据组织结构,优化数据资源的合理分配。
未来,上讯信息数据交付流程编排自动化解决方案还将结合银行的DevOps平台,通过API接口的调用将数据申请流程、供数流程以及提供给各项目组的自服务整合在测试平台中进行统一管理,实现各种资源申请和服务的线上智能化共享。
四、金融行业客户名单
中信银行、厦门国际银行银行、宁波银行。
五、客户评价
厦门国际银行评价:
该解决方案是基于我行数据流转业务需求,严格把控金融数据安全,为我行解决数据交付流转过程中的自动作业编排,实现测试场景高效供数的目标,近年来上讯信息与我行建立了稳定持久的合作关系。基于我行测试域频繁要数、供数效率低的问题,本方案采用新兴技术CDM(Copy Data Management,副本数据管理)制定数据交付流程的任务编排模板,只需选定基础数据即可按照步骤自动执行数据的交付流程,包括数据的有效性校验和数据的静态脱敏,通过引入自动化作业编排流程既保证了我行生产数据的安全,也大大提升了供数效率,以往数据申请-交付的时间在30小时左右,如今可以达到3~4小时,时间成本节约达到了80%,对提高我行数据资产使用和管理的自动化服务水平,降低运营成本,具有重大的实践意义,同时,数据交付流程的自动化编排为金融数据要素价值的释放提供了一种平台化的工具,为我行在金融科技发展中数字金融的业务拓展提供了有力的竞争优势。
本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】。
推荐阅读
更多
中国邮政储蓄银行 陈震宇:聚势赋能,推进大数据能力高质量发展
数据作为新资源、新资产,在数字化建设浪潮中起着核心关键作用。近年来,加快建设“数字中国”,更好发挥数据要素重要价值,多角度、深层次助推经济社会转型发展,已成为国家战略。中共中央、国务院于2023年2月印发《数字中国建设整体布局规划》,明确指出建设数字中国是数字时代推进中国式现代化的重要引擎,是构筑国家竞争新优势的有力支撑。借助数据要素的巨大驱动力,构建强大的数据能力,已成为各行各业进入“大数据时代”的必由之路。 中国邮政储蓄银行(以下简称“邮储银行”)深入贯彻党中央、国务院决策部署,强化顶层设计和整体统筹,以“十四五”IT规划和大数据五年发展规划为蓝图,以“构建同业先进的数据能力”为战略目标,强化核心数据能力建设,提升总分各级用数体验,深挖业务条线数据场景,不断释放数据内在价值,为打造数字邮储提供全方位数据服务支撑。
金融电子化
陈震宇
2024-02-28
宇信科技:一站式数据开发平台
一站式数据开发平台集成项目管理、数据建模、数据清洗加工、任务开发、任务发布、数据探索等数据能力,提供可视化开发主界面,赋予用户智能代码开发、规范化任务发布能力,高效完成大数据离线加工计算的核心业务开发。
“鑫智奖”第四届金融数据智能优秀解决方案评选
宇信科技
2024-02-28
东方国信:企业级数据平台建设方案
基于东方国信自主研发产品用于建设银行等金融机构的企业级数据平台,整合了传统的ODS、数据仓库、数据集市、分析类应用系统,实现面向全企业的统一储算平台,并在此基础上建设全企业的数据服务平台,为全企业提供标准的数据服务。
“鑫智奖”第四届金融数据智能优秀解决方案评选
东方国信
2024-02-28
博彦科技:银行“一表通”监管数据可信引擎区
博彦科技银行“一表通”监管数据可信引擎区通过服务规范、数据规范和运维规范建设,实现监管数据高效报送、质量提升与安全应用。提供实时查询、任务下发、通知和文件同步服务,构建资源层、穿透层和指标层数据架构,建立协同运维、基础环境运维、异常处理、业务监控、日志收集及问题跟踪机制,助力金融监管数字化、智能化发展。
鑫智奖·2025第七届金融数据智能优秀解决方案评选
博彦科技
2024-02-28
数巅科技:AskDI银行业解决方案
数巅科技AskDI银行业解决方案基于数据虚拟化技术,实现跨多数据源的高效统一管理和利用:通过业务虚拟表建模,满足银行各类业务场景需求,灵活处理数据。该方案支持指标和流式事件消息应用,助力银行提升数据处理效率,降低数据的存储成本,显著加速数数据资产的查询速度和效率,适用于客户关系分析、业务效率提升等场景。
2024年“鑫智奖”第六届金融数据智能优秀解决方案评选
数巅科技
2024-02-28
上讯信息:数据交付流程编排自动化解决方案
数据交付流程编排自动化解决方案主要适用于银行业数据从生产域到测试域的交付流转场景,通过CDM技术、静态数据脱敏技术实现从数据采集、传输、存储、脱敏、交付、销毁各个环节的自动编排,保障数据安全的同时降低人力运营成本。
2024年“鑫智奖”第六届金融数据智能优秀解决方案评选
上讯信息
2024-02-28
观点