一、项目背景及目标

随着数据规模急速增长，业务呈现出多样化、快速化和智能化特点，通过细致调研分析，金融业务亟待解决以下问题：

1.金融行业的相对封闭导致了用户数据的割裂性，企业可能无法全面勾勒用户全貌，导致对用户的认识比较片面，从而做出错误的决策。

2.金融行业缺乏相关行业通用模型标准，企业很难建立全域一致的数据模型，从而导致数据需求响应不及时和数据使用效率不高等问题。

3.金融行业数据资源呈现多元化、海量化、多层级特点，为数据的识别梳理、分析处理、标准化以及增值应用增加很大难度。

4.金融行业技术体系分散，无法很好构建统一的技术体系与操作规范，很难将数据价值在数据生产、流转使用、收益分配等各个环节得到大限度释放。

5.数据大集中的治理管控难度大，不能对元数据、数据血缘、码值管理、数据生命周期进行精细化管理，无法将大数据平台与行内数据标准和规范相匹配，导致数据管控不能力不足。

2019年，我社根据现状及同业建设经验，通过专业咨询规划，建立了大数据技术基础架构，旨在采用大数据技术完成多源异构数据的加工与整合，构建数据统一汇聚、统一存储、集中计算、集中分析、集中监控的大数据平台架构，实现了海量历史数据的加工存储。

2021年，为更好发挥大数据平台数据计算能力优势，更好支撑业务时效性，加速开放大数据平台计算能力，我社启动了基于国产大规模分布式与并行数据库架构的大数据融合体系建设，将基于传统DB2 DPF架构的数据平台分模块逐步迁移到大数据平台，解决数据重复处理和重复存储成本等问题，支撑数据中台架构和人工智能应用场景建设，为加速我社数智化转型奠定基础。

二、创新点

1.实现技术架构转型

通过建设湖仓一体化的企业级融合大数据体系架构，不仅夯实数据存储、加工服务的数据底座，而且极大节约软硬件成本。

2.建立数据管控体系

制定适合我社的数据管控管理办法及管控流程，发布3项数据管控制度，制定1309项数据技术标准，初步形成数据管控规范体系。

3.强化数据集市建设

建设标准统一的数据集市，完善自上而下覆盖全系统、全流程、全业务的数据中台架构，实现所有基础数据标准口径横向集中统一、纵向数据互通，使数据有迹可循，为管理决策提供及时准确有效的数据支撑。

4.信创规划建设

采用联合创新模式，使用国产FusionInsight HD和高斯数据库替换传统关系型DB2数据库；采用自主创新模式，完成大数据平台离线计算集群信创适配改造，并在金融科技实验室部署了基于国产ARM架构芯片、国产操作系统、国产数据库的联机分析集群。

三、项目技术方案

1.打破传统，实现意识转变

业务模型由“被动支撑”逐步走向“主动服务”，积极完善大数据生态建设，统一数据开发技术栈，打造牢不可破的数据底座，为数据采集、存储、计算、分析挖掘、数据共享等过程提供科学有效规划。

2.拥抱变化，实现技术革新

采用Hadoop、Hive、Spark2x、HBase等华为大数据产品组件构建企业级大数据集群技术框架，其中离线计算集群利用Hadoop、Hive实现海量数据存储计算、数据整合和挖掘分析，通过HBase实现毫秒级实时检索能力，借助Spark2x和MapReduce框架实现高效数据处理能力；联机分析集群采用分布式数据库，提供PB级数据分析、多模分析和实时处理能力；实时计算集群采用分布式流处理引擎，可提供数据分发和并行化计算的流数据处理能力。

3.重点突破，实现数字化商业模式创新

建立数据模型、数据血缘、上层接口等标准体系。解决数据采集完整性问题，实现数据的跨域融合，为数据中台应用的建设奠定基础。

四、项目过程管理

项目实施工期15个月，阶段详细计划如下：

*****阶段：需求分析阶段（2021年6月～2021年9月）。主要完成用户需求和软件需求编写等工作。

第二阶段：设计与开发阶段（2021年10月～2022年2月）。主要完成环境部署以及迁移改造等工作。

第三阶段：验收测试阶段（2022年3月～2022年6月）。主要完成用户功能测试、非功能测试等工作。

第四阶段：投产切换阶段（2022年7月～2022年9月）。主要完成投产上线、生产数据验证、业务切换等工作。

五、运营情况

通过建成基于国产大规模分布式与并行数据库架构的大数据融合体系，提升了应用系统数据服务实效，缩短了数据服务窗口，系统运行取得了良好预期，具体情况如下：

1.借助大数据平台分布式处理能力，对平台日终批量进行整体优化，批量结束时间提前3个小时，有效缓解批处理压力，提升了数据服务实效。

2.夯实覆盖数据采集、存储、处理、分析和应用全流程的数据底座，提升数据处理效率和数据服务能力，打造集成数据整合加工、建模分析、质量管控等功能的数据能力中枢，为数据价值挖掘夯实基础。

3.建立健全企业级数据模型，构建面向业务需求的主题数据集市，降低数据重复加工，统一数据出口服务，屏蔽源业务系统数据结构变更对其他应用系统的影响，提高需求响应时效和数据使用效率，赋能获客、营销、风控等提质增效。

4.助力精准营销系统及用户画像服务建设，针对不同业务场景与客户分群，为客户提供准确的产品服务，减少盲目营销带来的反感与弊端。

5.梳理全行级数据链路关系，建立表级血缘分析和影响分析，快速响应业务系统数据血缘查询需求。

六、项目成效

1.经济效益

一是技术架构转型。采用分布式、虚拟化等金融科技降低硬件投入成本；

二是降低人力资源成本。数字化运营、数字化风险等大幅节约行社人力成本；

三是缩短业务处理时间。以大数据、人工智能等作为风控手段，有效提升系统处置准确率。

2.社会效益

一是推动了金融科技成果转化。以产学研一条龙服务构建技术平台，提升金融科技成果转化和应用效率；

二是强化金融数字化案例推广。响应国家金融业数字化转型号召，积极推进数字化转型工作落地实施；

三是拉动经济内需。采用国产化软硬件产品，促进国产化服务器以及应用软件的快速发展；

四是带动示范效果明显。对吉林农信系统数字化转型方面起到了良好的示范性效应；

五是提升了吉林农信的品牌形象。借助大数据能力深度挖掘数据价值，赋能科技应用，提升客户满意度。

七、经验总结

2022年9月，数据平台迁移至大数据平台项目顺利投产切换，共迁移7901张数据库表，40T数据量。重构内部数据采集系统，建立数据采集标准规范，完成上游64个系统767个采集程序改造和迁移；建立统一供数接口标准规范，完成下游48个系统1122个供数接口程序改造和迁移，除此之外，本次迁移还涉及12758个调度任务迁移，以及7325个应用程序和脚本的改造和迁移。截止当前，大数据平台系统已平稳运行超过1个月，满足各项业务需求和运维需求。

吉林农信大数据融合数据架构是中小银行业金融机构寻求企业数字化转型，探索解决自主可控、快速响应业务需求等方面问题的全面实践，标志着吉林农信湖仓一体化架构已经基本形成，也标志着吉林农信数字化转型工作已取得初步成果。

项目应用了当下主流的大数据新兴技术，并在业务模式上构建了融合的一体化体系，以金融科技手段推动业务发展的深度探索，为吉林农信业务高质量发展注入了强劲金融科技动力，也为中小银行数字化转型提供了切实可行的落地实践案例，具有较好的借鉴意义。

大数据能力建设周期长，影响面广，贵在坚持，不怕慢，就怕停，需要经过3-5年持续建设，逐步形成稳定的系统平台和相关标准规范。