一、项目背景及目标

伴随滨海农商银行业务的快速发展，目前已积累了大量的业务数据，同时业务的新增也对业务数据的加工、处理、整合和应用的能力提出了更高的要求。我行大数据平台当前存在存储压力大和无法满足越来越高时效要求等困难，亟需构建全行统一的基于RocketMQ和Slipstream的准实时数据集市，在数据整合、数据标准化、数据质量提升和数据时效方面解决下游业务应用方面的数据支撑需求。

另一方面，银行业为满足监管、风险、营销、运营要求、推进新资本协议项目合规达标，如何全面提升银行管理专业化能力、应对行内行外对各类数据的迫切需求成为当务之急。

根据滨海农商银行当前实际需要，我们建设了统一的基于RocketMQ和Slipstream的准实时数据集市，通过应用大数据分析等技术，为不同的运营与管理方提供统一口径的数据，实现各类数据自动抓取与整合，提供准实时、批量等不同时效的各类数据分析报告，满足滨海农商行内部管理精细化以及合规监管的要求。

二、创新点

基于RocketMQ和Slipstream的准实时数据集市项目的建设从业务层面共实现了四大业务主题集市七类应用子集市的业务架构设计。

基于RocketMQ和Slipstream的准实时数据集市主要业务特点主要包含以下方面：

1.实时计算引擎，提升业务效能

对于下游应用需求中需统计或关联历史数据（数据量百万级以内）的场景，整体数据加工计算时长控制在15分钟内；大数据量表（百万以上）整体数据加工时长控制在30分钟内。对于下游应用需求中仅对当天某笔或多笔数据进行计算统计的场景数据加工时长控制在5分钟内。

2.优化架构设计、数据质量检核

数据集市间进行共性抽离，共性共享，减低数据存储冗余。对数据平台各层数据进行数据质量检核，提升数据质量，对问题项作为数据质量的依据。基础明细数据支持各项应用数据汇总需求。

3.实现数据标准统一、高扩展

构建的数据集市遵循大数据平台数据标准，可提升集市间、应用间数据互通互联。下游新增应用需求，可在集市上根据已有的模型进行简单的扩展或直接使用满足需求，无需再新建表和新增加工脚本。实现规范化、标准化管理。

4.实现数据统一补录，统一管理

对分散在各应用中的手工台账或手工补录数据进行统一收集管理，由大数据平台进行统一补录维护，增加数据的使用率，提升数据价值。对手工补录的数据进行统一检核验证，保障补录数据质量。

5.实现数据共享、统一数据口径

建立基于RocketMQ和Slipstream的准实时数据集市平台，将数据按主题分类存储，统一数据标准、统一存储、统一管理。新增应用时只需在数据集市平台根据应用所需业务进行分析扩充现有模型表即可。基于RocketMQ和Slipstream的准实时数据集市满足规范化、系统化管控，可快速相应下游应用需求。

6.实现数据价值、赋能应用

基于RocketMQ和Slipstream的准实时数据集市解决了各系统数据孤立问题，且针对特定业务进行数据整合汇总，为业务建模、业务决策、业务分析提供了数据基础。全面的数据，统一的标准，为各应用提供统一客户和业务视图、共享各项指标标签，避免取数难、用数难的问题。高度整合的集市汇总数据，为业务用数提供了更高效便捷的通道，减少了繁琐的数据加工。

7.实现业务驱动，创新业务

基于RocketMQ和Slipstream的准实时数据集市以统一客户、业务驱动、有效管控、前瞻考虑原则，以应用场景为验证，实现真正的以客户为中心的业务经营发展。基于RocketMQ和Slipstream的准实时数据集市具有完备的业务主题和标签及指标体系，实现信息的高效传递和有效监控。基于基于RocketMQ和Slipstream的准实时数据集市全面的业务数据链，可以通过模型实验进行业务预测及业务创新。

三、项目技术方案

基于RocketMQ和Slipstream的准实时数据集市，基于我行星环大数据平台分布式集群架构构建，通过内存计算、高效索引、执行优化和高度容错的技术，使得数据平台能够处理GB到PB的数据，并且在每个数量级上都能提供更快的数据计算性能。主要技术特点如下：

1.强大的计算能力

Transwarp Nucleon根据不同的存储引擎自动匹配高性能算法，快速实现跨库关联，避免数据导入导出的麻烦，实现数据快速挖掘、提升查询效率。

2.云化计算能力

整合分布式、GPU等高性能计算资源，提供弹性化的资源扩容能力和稳定的功能操作能力。

3.多模型架构引擎

一站式多模型数据管理架构实现了对海量数据的统一管理与集群服务的统一运维，大幅降低了综合成本，从根本上解决了数据平台运维难的问题。

4.强大的数据聚合能力

通过批量方式经由本行数据仓库（DW）获取了来自核心、ECIF、新信贷、绩效、国结、理财、国债、贵金属、第三方存管、新一代网银、信用卡、中间业务等系统的基础数据，并经过数据集市的模型批量加工处理，提供给前端应用展示，同时通过RocketMQ、Inceptor+Slipstream进行实时捕获业务数据并进行实时计算，为其他渠道和应用提供实时的数据消费和应用服务功能。

图1 基于RocketMQ和Slipstream的准实时数据集市技术架构

5.完善的安全保障机制

提供平台全方位的安全保障，支持网络、硬件、软件和数据全方面的安全措施。从网络接入、数据传输、系统管理、业务权限控制等多个方面采取措施，充分保证系统安全性。实现方便可视化的系统运行实时监控，可及时了解系统运行情况，故障发生时能够准确定位故障点。

四、项目过程管理

整个项目实施严格按照项目计划，于2022年07月04日启动，2023年06月30日完成项目的实施并上线。

项目各阶段工作内容如下：

表3-3

五、运营情况

（一）系统成效

通过系统上线以来运行情况的跟踪，基于RocketMQ和Slipstream的准实时数据集市平台运行稳定，性能良好，各项指标均已达到原来的设计目标。数据的生产与消费达到秒级响应，数据的加工处理达到分钟级效率。同时上线前大数据平台支撑下游应用数据表平均每月增长64张，整体空间冗余率为72%，上线后数据表月平均增长量为2张，数据表共享率增加，整体空间冗余率降低了84%。

（二）推广应用前景

1.全面风险数据集市

建立了监管指标库，统筹监测各类指标，根据关键评级指标变动趋势，及时提示风险，实现了对重要监管指标的系统监测；随着条件成熟，逐步丰富监管指标系统监测范围提高监测频率，提升风险识别能力，前移风险关口。

2.信用风险数据集市

通过建立小微客户信用风险集市、对公客户信用风险集市，满足大额风险暴露系统应用数据需求，包含暴露主体、国结、合格押品、交易账簿风险暴露、其他风险暴露、特定风险暴露、一般及潜在风险暴露等业务数据；通过优化零售客户信用风险集市，客户信用风险数据指标，形成覆盖一期风险集市自营贷款及联合贷相关数据接口，共计满足信用风险指标标签体系建设需求提供的 2000多 个信用指标标签，含窗口标签在内共计 9000多个。

3.监管数据集市

通过建立统一的监管集市汇聚金融机构各源系统的数据，构建了全行统一的基础报送数据模型，监管报送集市主要以风险视角对全行业务按监管要求进行数据报送，实现了满足1104、金融统计、支付统计、客户风险、反洗钱、EAST5.0报送系统需求；金融市场数据在监管报送业务范围内基本涵盖。

4.营销数据集市

以支持和配合业务部门产品营销及分析，支撑客户关系管理系统应用场景为基础，建立过程中取经于行业佳实践金科大数据平台，丰富喵喵贷功能，提升数字化营销能力，提升数据查询分析平台的效率和覆盖率。营销数据集市本期建设内容主要为支持企业微信系统以及 CRM 系统等数据应用、客户标签、客户提醒、营销统计等功能，优化产品管理、推荐功能的数据支撑能力，完善客户标签体系，有力保障了行内线上精准营销业务的开展。 

5.实时数据集市

以满足业务获取实时数据的需求为目的，通过流式计算保证了数据面向业务的时效性，通过离线数据对实时数据进行检查和修正。打造数字化基础，加强了数据的时效性，实现历史集群、批量集群和实时数据集市的分离，提高了数据及时性、平台化、可视化及可用性。

6.集中补录功能

面向全行所有数据补录，实现统一需求、统一补录、统一加工，降低重复补录造成的数据冗余，实现了补录数据下游共享的目的。

7.数据质量检核

依托于监管要求和业务自定义规则，通过技术手段及业务规则手段，对数据集市涉及的必要关键字段通过检核规则脚本批量检查，并输出数据质量检核的结果，控制并保证数据信息的准确性、完整性、一致性等关键因素。

（三）系统效益

基于RocketMQ和Slipstream的准实时数据集市项目的建设，符合我行的发展状况，对于我行不同的运营与管理方提供了统一口径的数据，实现了各类数据自动抓取与整合，提供及时、准确的各类数据分析报告，满足我行内部管理精细化以及合规监管等各方面的需求。

自数据集市推广使用以来，我行通过先进的技术力量，提高了系统的自动化处理能力，减少数据重复录入，提升工作效率，通过数据集市数据质量的定期检核、维护及治理工作，我行数据项及数据质量呈稳步上升趋势，数据集市的建设有助于实现我行各业务应用对数据高质量的需求，满足内部数据挖掘分析及外部监管报送的要求。

六、项目成效

在国家大数据战略背景下，大数据技术在金融行业的应用越来越多，效果日益彰显。作为经营风险的银行业金融机构，在大数据、人工智能、区块链等新技术应用方面，亟需借助大数据技术提升我行产品研发、风险管理、客户营销管理以及运营决策能力水平，通过在大数据平台构建全行基于RocketMQ和Slipstream的准实时数据集市系统，在统一数据标准、提升数据质量的基础上，满足全行数据共享、数据挖掘分析的需求，下游应用基于数据集市提供的支撑能力，在风险管理领域，应用数据挖掘、关联分析、舆情监测等技术领域，实现风险早识别、早预警、早处置，有效降低风险损失，有着巨大的业务管理需求和价值。

一方面提高风险管理的全面性。经过我行多年经营与发展，积累了客户尽调、项目调研跟踪、项目审批、项目后期管理等大量客户信息数据，同时市场上积累了企业相关的企业战略规划、经营策略、盈利模式、财务状况、融资渠道、市场公开信息、工商、司法、重大事件等数据，充分挖掘分析客户信息数据，构建交易对手的360度画像，将会大幅提升风险管理的全面性。

一方面提高风险管理的动态性。项目后期风险管理一直是我行防范的难点和重点。但是，由于项目多、人手不足，并且项目的融资方、担保方、抵押物等一直不断变化，项目后期风险识别、防范效果一直不佳。借助大数据技术，整合全行数据资产，构建全行基于RocketMQ和Slipstream的准实时数据集市，统一行内数据标准、提升数据质量及数据治理能力，对我行抵质押物的价值变化进行动态监测，对交易对手、担保方的经营情况、资产负债和现金流等信息进行及时分析，可以提高风险管理的及时性和动态性，提高项目过程管理水平。

综上所述，无论从政策监管、银行业发展，还是我行业务发展和管理经营，构建数据集市平台，借助大数据技术提升风险管控能力、智慧营销服务能力，对于我行都有着重大现实价值和意义。

七、经验总结

基于RocketMQ和Slipstream的准实时数据集市项目的建设，在我行强有力的组织管理和稳定的建设团队带领下，从2022年07月到2023年06月历经三大建设阶段，终如期完成投产上线、推广运行。基于RocketMQ和Slipstream的准实时数据集市项目的实施，实现了我行下游应用数据加工口径统一、数据存储冗余大幅降低，数据质量监测自动化，更好的辅助行内进行数据治理，对我行全面提升数据资产价值意义重大。