一、项目背景及目标

近年来，大数据、云计算、5G等新技术助推各大金融机构数字化转型进程，通过挖掘数据价值尤其是数据实时价值，不断提高数据规模化的应用能力，变革金融生产方式，引领智慧银行建设是金融机构在数字经济时代面临的必答题。在变革浪潮中，吉林银行业务突飞猛进，建设了众多业务系统，数据量呈现爆发式增长，各业务系统在交易数据、资产、回单等信息的查询过程中，存在系统之间互相调用数据、系统关系错杂繁乱、调用查询速度慢等问题。为解决上述问题，吉林银行于2021年开始筹划构建实时计算平台，屏蔽不同计算与存储环境的差异，整合多个业务系统对应的异构数据库，实现跨系统的数据计算，统一调配、整合出口，保持数据一致性，并且借助实时数据同步、Flink流式计算框架技术，以毫秒级的响应速度将整合计算后的数据实时提供给下游业务系统使用，支持实时经营分析、实时反欺诈、实时营销等应用场景，全面提升数据价值，数据应用场景从离线到实时不断丰富。

二、创新点

核心计算部分基于Hadoop和Flink大数据技术，解决了在实时处理场景中多源异构数据需要转化、整合成统一数据结构的问题，同时进一步提升数据质量，打通各渠道间的数据壁垒，数据处理和数据服务接口编程语言使用Java，数据持久化使用HBase和Mysql双数据库分别存储计算结果数据和频繁访问修改的数据，从各个数据源端实时同步数据使用CDC数据捕获技术，将上游Oracle或Mysql数据库的实时增量数据捕获，基于异构语义映射实现异构数据实时融合，提升数据流转时效性，降低异构数据融合成本，通过旁路方式监控源系统数据库日志文件，将源数据库的增量变动记录，实时同步到Kafka。

三、项目技术方案

1.技术架构

实时计算平台技术架构如图1所示，分为实时同步工具、Kafka集群、大数据集群（包括Flink和Hadoop）、数据存储、数据服务五部分。

图1  实时计算平台技术架构

2.网络架构

本项目网络共分为五部分，每部分为一个软件程序部署集群，均采用多节点、高可用服务器部署方案，网络流向依次为CDC数据同步、Kafka集群、Hadoop集群、Redis集群和GBase集群、数据服务。

图2 网络架构图

3.大数据集群

包含两部分Flink和Hadoop，基于Hadoop资源管理器Yarn和分布式存储HDFS为基座，使用Flink计算引擎处理实时计算逻辑，处理逻辑包含多流关联、聚合等。

①资源管理器

使用Yarn作为资源管理器，使用容器调度器，按照程序资源的使用情况，针对不同的程序合理分配队列，防止资源争用，计算程序基于Flink run模式，拉取Kafka中的数据进行实时处理计算。

②高可用

基于Flink on Yarn模式，通过设置Yarn的重试次数参数保证Flink计算服务的高可用。配置checkpoint检查点，在计算过程中定期将中间结果数据持久化到hdfs上，再次恢复时可从检查点时间开始计算。

③开发模式

开发可视组件化的平台，减少编写代码工作量，快捷开发。处理模式分为三类，当处理逻辑较为简单使用Flink SQL；处理模式较为复杂，SQL无法处理时，使用组件配置的方式组合逻辑，底层动态生成执行程序；当SQL和组件都无法满足计算逻辑时，通过使用Java编程语言开发自定义组件来满足业务需求。

4.Kafka集群

作为数据缓冲层，是连接数据源与实时计算引擎的中间层，通过实时同步工具捕获数据源发生变化的数据，实时同步至Kafka。Kafka是一个分布式的基于发布订阅的消息队列，有高吞吐、低延迟、高并发、可靠性、容错性、数据可持久化、分布式集群易于扩展等特点。

5.数据服务

采用负载均衡分布式架构，接口基于Java语言开发，使用行内自主研发星帆研发框架，基于redis使用缓存技术，提高接口数据返回速度，以HTTP API的方式提供Json格式的数据，后注册到ESB给下游系统使用。开发监控平台，监控接口的访问次数、成功率、失败率等信息。

四、项目过程管理

项目各阶段的实施周期，分为以下几个阶段：

1.需求分析：与业务部门沟通，了解实时数据计算的需求和场景，制定数智化转型的目标和指标，输出需求文档。

2.设计开发：根据需求文档，设计实时计算平台的技术架构和业务流程，选择合适的技术平台和工具，开发实时计算的核心功能和界面。

3.测试验收：对实时数据的功能和性能进行测试，修复发现的问题，联合业务部门进行UAT测试验收，收集反馈意见，优化改进。

4.投产演练：通过对生产环境的真实业务在投产演练环境进行复原操作，用来检验上线指令及操作步骤的科学性，终验证参数配置、产品开发、业务功能覆盖情况、系统网络部署等是否满足上线要求。

5.上线部署：将实时计算平台部署到生产环境，进行数据迁移和接入，提供培训和支持，确保系统稳定运行。

本项目的实施周期为18个月，其中需求分析阶段为3个月，设计开发阶段为6个月，测试验收阶段为6个月，投产演练阶段为2个月，上线部署阶段为0.5个月。

五、运营情况

项目上线后，我行对系统的运行情况进行了持续地监测和优化，保证了系统的稳定性和可靠性。还定期收集和分析用户的反馈和建议，不断改进系统的功能和体验，提高用户的满意度和忠诚度。通过各种渠道，积极推广系统的应用场景，扩大了系统的覆盖范围和影响力。与各个部门和业务线密切合作，为相关部门提供了数智化转型的支持和服务，帮助他们提升了业务效率和质量，降低了运营成本和风险。

六、项目成效

实时计算平台已对接上游14套业务系统的数据实时采集、接入，为下游数据模型构建与计算提供数据基础。实时计算平台在多元异构数据节点的支持、批流一体数据同步、高可用性、可管理性等方面能力突出，具有高效连接复杂异构数据源和目的地、大数据量高并发数据同步、可视化实时监测等优势，很好地应对各种实时数据应用的场景，提高数据的复用度，提升数据管理效率、高效释放数据价值。为快速响应下游服务、优化管理决策等带来实时敏捷的数据支撑，从而对模式创新、组织能力变革及商业价值提升带来推动力。同时，通过同步任务的管理和告警的机制及图形化界面，更为直观地完成了日常任务监控，极大节省了运维时间。

七、经验总结

随着数字化转型的深化，数据实时整合的价值愈发重要，数字化转型成为行业大势所趋；银行在数字化发展中，对于数据价值的实时性要求越来越高。吉林银行自研实时计算平台为行内输出集实时采集、实时传输、实时存储、实时处理、实时计算、实时服务等能力于一体的综合实时数据处理机制，提高数据利用效率，缩短数据价值产出周期，赋能我行数字化转型，助力我行实现数字普惠为数据中台建设打下了坚实的基础，开启了吉林银行大数据建设与数据治理的进阶之路。