一、项目背景及目标

中国银保监会办公厅于2022年发布了《中国银保监会办公厅关于银行业保险业数字化转型的指导意见》，强调金融机构需增强数据管理能力，构建覆盖全生命周期的数据资产管理体系，优化数据架构，加强数据资产积累。建立企业级大数据平台，全面整合内外部数据，实现全域数据的统一管理、集中开发和融合共享。《2022年中国大数据分析平台行业研究报告》中趋势洞察指出：传统架构下的湖仓分体引发数据孤岛，造成实施、运维和成本问题。与此同时，随着我行数字化转型加速，数据呈指数型增长，业务需求呈敏捷化态势，业务发展对大数据平台在业务连续性保障、容量需求、跑批及即席查询时效性、数据安全、实验创新等各个方面提出更高要求。在此背景下，我行的金融级数据中台重构创新实践势在必行。

数据中台重构创新实践项目主要实现以下目标：第一，推动数据应用创新，提升开发质量和效能，挖掘数据价值；第二，构建创新型湖仓一体化高可用平台，在架构、成本、性能等各方面夯实数据底座，赋能业务快速发展。

二、创新点

常熟农商银行数据中台重构项目在数据底座实现行业三大重大创新，具体如下：

第一：国内金融同业首次全面采用全栈国产化Hive on Tez计算引擎+ ORC(Zlib)存储引擎的技术路线，以更低的成本满足迁移改造，以更快的速度满足跑批时效，以更长远的可持续性满足未来技术演变路线。

第二：业内首次落地全栈国产化“Hadoop+MPPDB”湖仓一体化架构，实现湖仓元数据共享，首次创新性应用数仓External Schema能力实现Hadoop数据湖的跨集群读写，在保障关键作业提速的同时，采用数据归档实现冷热分离，统一HDFS数据存储，有效降低基础平台成本。

第三：平台容灾架构采用主备集群，且主备集群业内首次采用全栈国产化部署，实现了湖仓一体架构下数据中心级湖仓交叉容灾能力，以及技术自主可控；同时数据湖备集群支持读写，有效满足数据实验分析以及预发布验证等业务场景，全面发挥备集群资源价值。

三、项目技术方案

项目规划实施主要分为以下几个阶段：

1）架构设计期

平台支持组结合项目目标针对湖仓一体架构以及Hadoop计算及存储引擎进行全面分析评估，并产出架构设计以及数据湖计算存储引擎选型方案。

2）研发适配期

数据迁移组基于原平台和新平台架构和技术栈差异开发数据迁移、脚本转换程序，并产出自动化转换工具。

3）数据迁移期

数据迁移组通过迁移程序完成数据全量+增量迁移，以及脚本转换和改造。

4）投产应用期

平台组及数据迁移组分批次完成新平台投产，保障平台各项任务高效稳定执行。

5）平台各关键里程碑技术实现历程

第一、通过Hive on Tez有向无环图实现任务依赖关系的高效调度，减少中间数据落盘次数，对比Hive on MapReduce跑批效率提升53%；

第二、通过30多个Hive on Tez参数调优，结合作业资源监控，分析内存，建立内存优化方案，执行时效提升7倍以上；

第三、通过数据仓库“External Schema”最新核心技术业内首次实现全栈国产化湖仓元数据打通以满足跨集群跑批提效需求。

四、项目过程管理

五、运营情况

1. 数据底座运行情况

数据底座自投产上线后整体运行平稳高效，资源使用正常。

1）数据湖任务运行情况：在凌晨0:10 ~ 2:30 左右，是任务运行的高峰时间，运行平稳高效；

2）数据仓任务运行情况：近一个月数据仓运行情况较为平稳。

2.数据中台应用推广

基于数据中台的数据API服务能力，进一步打破数据壁垒，扩大数据应用范围，提升数据流转效率。业务场景覆盖询证函回函查询、营销中台客户旅程和客户视图。

1）询证函回函覆盖我行170个网点，截至2025年4月2日办理50335次；

2）客户行为旅程覆盖我行519万个个人客户账务和非账务的营销类和业务类行为的数据明细分析；

3）客户视图的个人客户AUM历史走势覆盖我行244万个个人客户的AUM历史数据分析，个人客户产品持有情况覆盖我行488万个个人客户的金融产品持有数据分析。

六、项目成效

1.数据底座方面成效

1）技术架构全面升级

技术架构组件全面和替换，提升了平台在未来的支撑能力。

关键组件升级：Hive v1.1.0 -> v3.1.0、Hadoop&HDFS v2.6.0 -> v3.3.1；

执行引擎升级：Hive On MapReduce替换为Hive On Tez & DWS-MPP引擎；

抽数工具升级：Sqoop等替换为数据交换Spark抽数；

搜索引擎升级：Solr替换为ElasticSearch；

交互式查询升级：Impala替换为Hetu；

网络层面改造

大数据环网三中心部署专用网络（40GB），将大数据网和业务网物理隔离，上下游系统和数据底座通过专线或代理打通网络。从而将业务和大数据流量剥离，提升业务连续性。

存储成本优化方面

ORC+Zlib压缩率较Parquet+Snappy提升34.68%，新平台存储成本降低43%。

全栈国产化主备双中心

主备双中心采用全栈国产化交叉容灾架构，多场景容灾交叉方案，界面化容灾切换配置，容灾应对场景提升1倍。

构建数据试验区，充分利用备集群的资产利用率。采用数据保护组存储管控技术‌，保障灾备数据与实验数据物理隔离，实现灾备集群可读可写能力

6）同业最佳实践方面

湖仓一体化中台对于数据湖计算存储引擎选型，以及大数据国产化改造技术方案，为同业提供借鉴参考。

2.数据应用方面成效

1）跑批效率提升方面

新平台通过Tez引擎 + DWS引擎的替换，大幅提升了作业运行效率，缩短了作业运行时长。数据仓作业级耗时平均提速10.64倍、数据湖作业耗时平均提速2.43倍；关键业务链路数据跑批提前至4点完成，提前了9小时；各个集市、应用跑批完成时间也均大幅提前。

2）数据API服务化

降低了我行各网点柜员办理询证函回函查询的人力成本，共帮助处理2762份回函，占纸质函证业务量的70%-80%，节约业务处理总时长约650个小时。同时，线上化的业务办理提升了客户满意度。

3）客户行为旅程、客户视图与营销中台综合应用

客户拜访方面累计3.2万次，商机处理方面下发51537条，拜访31959次，转化成功9477条，商机查看率93.38%，商机执行率42.9%，商机转化率18%。

4）一体化数据交换平台

将原有碎片化抽数和供数工具替代为一体化数据交换平台，使得新交换平台贴源抽数入仓提速至95%以上在2点前完成。其中核心抽数平均在1点完成，提前约55分钟。

5）湖仓架构助力应用提速

落地湖仓一体化架构，基于华为数据湖和数据仓库技术底座，发挥华为MRS数据湖大容量特性和DWS数据仓库高性能计算能力优势，满足各类业务数据存储和加工提速的数据应用需求。

6）主仓规范化升级

中断不规范的临时库表、中间过程的引用；

调度作业规范化，作业依赖缺失完善、循环依赖改造、3224个无效作业下线、1657个重名作业调整；

ETL职责耦合SQL规范化，主仓1061个SQL脚本ETL耦合的职责单一化改造，优化SQL代码结构，提升可读性和可维护性；

供数机制规范化，Sqoop&DataX改为文件供数，客户关系管理、银企对账和反欺诈等12个系统库，避免耦合和降低侵入性；

生态区网络访问规范化，生态区断开直连，选型网络策略方案2-API + 白名单 + 加密 + 鉴权；

主仓清理，分析融合层、集市层和应用层共2340张表，包括1584张结果表、378张备份表、378张临时表，共清理出大数据服务器存储容量482TB；

七、经验总结

1.数据底座建设经验

1）数据底座需从系统、网络、平台三大维度做好架构设计、技术专题、最佳实践配置，以满足功能、性能、安全、稳定性等业务需求。

2）投产前建议系统化实施全链路容灾演练、全链路分析优化以及全链路投产演练，其中全链路分析优化重点关注TOP任务性能调优，收效显著。

2.数据应用经验

我行新一代数据中台的建设，配备新的数据API服务方式，进一步打破了数据壁垒，扩大数据应用范围，提升数据流转效率，有效践行我行数字化转型要求。通过询证函回函柜面查询、营销中台客户旅程和客户360视图的数据API服务应用，结合各类新型数据应用需求的响应，充分发挥了数据底座平台的高效执行引擎、存储和压缩格式等优势，在当下新市场、新业态的竞争格局下，赋能我行业务场景的数据应用高质量发展，有效提升我行数字化转型综合水平。