一、项目背景及目标

      随着业务快速发展，广东农信在经营过程中的对数据的价值挖掘需求越来越高。传统批量的数据抽取、加工和处理效率已经无法满足对数据价值的实施挖掘。为此，在广东农信数据架构规划蓝图中，引入实时计算平台，准确快速地捕获数据来源，即时计算处理后，运用到营销和风控场景中，提高数据的价值。

      实时计算平台主要利用大数据技术和分布式技术快速处理实时/准实时信息的数据平台。在广东农信数据架构中，实时计算平台主要填补了基础数据平台离线数据处理的在实时/准实时数据处理能力缺陷，与基础数据平台形成完整的互补关系。

      实时计算平台借助大数据平台技术和分布式处理技术，采用多种方式接入海量的实时数据流，经过一系列的标准化、计算、聚合与拆分处理，终以数据服务或数据应用运用到业务场景中，完成数据赋能业务，提升整体的业务水平。

二、创新点

      实时计算平台根据数据的传输和转换过程，主要从实时数据交换能力、实时数据处理能力和实时数据服务能力三个方面进行构建。实时数据交换能力提供了多种源系统数据接入方式，满足不同的数据场景接入需求。实时数据处理能力在大数据流式计算基础上，增加分布式多线程处理技术，专门满足交互性强，一致性高的数据需求。

三、技术实现特点

       1、实时数据交换能力

       主要借助消息队列传输、网络旁路报文捕获、数据埋点采集、数据库日志采集和应用日志采集等方式实时接入源系统数据。不同的采集方式有各自的优缺点，对应不同的应用场景。实时计算平台提供了多种接入方式满足不同的接入要求、不同的服务场景。如消息队列主要用在交易数据采集，数据埋点主要用在用户行为数据采集，数据库日志采集主要用在源系统业务数据采集等。

       2、实时数据处理能力

      主要通过分布式应用技术和大数据流计算技术，分别对数据消息或数据流信息进行的加工处理，完成数据的快速集成工作。对上下文没有关联的数据，使用多线程分布式应用，提升数据处理效率。对上下文关联紧密，采用流式计算或微批处理技术，进行上下文开窗运算。

       3、实时数据服务能力

      数据处理输出的结果数据，采用多种形式存储提供下游应用消费。以数据库表、消息队列、实时数据分发流和查询接口等方式给数据平台和业务系统进行消费使用。同时，也可以集成数据可视化展示应用组件，以数据运营实时大屏应用方式展示给业务人员。

四、运营情况

       1、实时数据补全应用

       实时计算平台通过消息队列接收各个业务系统推送的客户交易消息内容，通过实时查询行内企业服务总线和数据查询服务总线封装报文和数据接口，整合补充消息中的关键的信息内容，以数据服务形式提供给各个业务渠道使用。

       2、实时数据分析应用

       实时计算平台借助数据库日志采集工具，把业务系统的数据库表同步到克隆库。结合报表查询工具和实时数据展示应用，定制实时报表和实时看板应用。帮助业务人员实时监测核心指标情况，洞察业务快速发现潜在问题。

       3、实时数据服务应用

       实时计算平台收集加工了大量的实时/准实时的数据内容，构建成了行内的小型的实时数仓，结合数据接口组件和数据服务组件，提供业务人员和业务系统查询和使用。

五、项目成效

       1、构建数据架构的实时数据交换通道，传输更快，成本更低

       批量数据交换需要调度工具发起或事件发起传输，数据内容需要传输过程中无法使用，只能等到传输结束。批量数据交换的操作过程十分繁琐，延迟高，高度依赖调度工具能力，计算量使用不均衡，浪费严重。

      实时计算平台解决了批量数据传输的操作繁琐和传输延时高的问题。通过建立实时数据交换通道，如搭建消息队列通道、通过数据库日志采集方式建立数据库同步链路等，支持数据实时发送和接收，把数据延迟降到低，大大缩短数据处理的周期。同时实时计算任务常驻内存，无需调度工具发起，能大大降低资源需求，提高资源利用率，降低硬件设施成本。

       2、搭建轻型的实时数据处理任务，数据加工整合更加及时

       在构建实时计算平台的过程中，对离线数据平台和实时数据平台进行全面的对比和分析。离线数据平台是对全量的数据进行复杂的多层级的逻辑进行加工处理，终得到通用标准的数据模型提供全行数据平台和业务系统使用。而实时计算平台则是对局部实时/准实时的数据进行简单的快捷的数据加工处理，在某些个性化的业务场景中使用。
实时计算平台虽然牺牲了加工逻辑灵活性和数据通用性，但却保证了数据处理的时效性。因此，实时计算平台加速了数据处理和传递过程，实现更大的业务价值，有效提升业务运营和风险防控能力。

六、经验总结

       通过构建实时计算平台的建设，实现了实时数据交换能力、实时数据处理能力和实时数据服务能力。通过丰富的数据采集能力，接入内外部数据，以流数据方式进行快速的加工整合处理，以不同的数据服务形式提供数据平台和业务系统消费，提升数据服务能力，提高数据服务水平。