一、项目方案

1.项目背景

随着业务的快速增长和日趋复杂，业务数据也越来越多、数据处理的效率也越来越低。在大量业务数据应用涉及到的数据采集与接入、数据存储与查询、数据分析与计算、数据服务等环节中，都有众多难点需要突破。在开展实际工作过程中，我们需要在数据采集与接入环节，能够接入各种大量业务数据源和各类异构数据。在数据存储和查询环节，能够对用于数据分析产生的指标进行计算和存储，需要具备同时支持热数据、温数据和冷数据查询的频率。在数据分析与计算环节，能够备实时处理过程中的复杂计算逻辑，包括糅合指标、模型、业务规则等各类计算逻辑。在处理业务中，大量业务数据应用是一个与业务场景进行深度结合的过程，在具体应用落地的过程中，需要具备将技术与业务结合的能力。 

为提升我行数据质量，解决存量数据问题，提升大数据对业务发展的支持能力，开展本次大数据智能分析决策平台建设，整体目标为：

（一）构建大数据应用服务能力，引入Hadoop集群平台、数据管控平台、数据交换平台、调度平台、实时流处理平台、SmartBI报表平台的落地部署，主要实现面向多类型数据的集中存储和数据交换，以及多种来源数据的混合处理及分析；

（二）数据治理体系规划及落地，根据业务调研结果，实现包括制定元数据、梳理数据标准、制定质量检核规则；

（三）数据仓库的搭建，实现老数据仓库全部数据及相关新系统数据的接入；

（四）实时大屏展示建设、自主报表迁移，实现报表个性化定制功能，满足各级员工数据需求。

2.功能架构

针对此次项目的主要需求和业务目标分析，此次项目实施的核心分为平台建设和业务场景落地两部分。

平台建设包括，产品部署实施、大量业务数据接入、相关系统对接调试、静态数据引用、计算资源引用、数据分析和数据结果数据等部分内容。

业务场景落地是在平台建设的基础之上，利用基础平台功能，实现数据指标的生产、展示，实现数据治理分析技术在行里的落地应用。针对上述内容，对项目功能架构图如下：

实时决策平台：它以实时计算引擎为核心，整合数据接入，指标管理，模型管理，规则管理等实时服务模块，支持实时采集，整合，分析和可视化数据。可以在不中断现有数据源，存储和其它企业级软件系统的活动的情况下实现数据的实时处理。提供了针对实时场景的一站式决策服务中心。是将 ETL、业务模型、机器学习、人工智能、可视化扩展到实时的大数据产品。

数据治理管控平台：是集数据接入、数据存储、数据建模、数据加工计算、数据对服务为一体的集成化平台，可以大量减少建立数据仓库的成本。

1)数据接入层：同构源系统数据，标识并增加数据中心标识；

2)基础数据层：按业务主题划分，统一数据标准，数据清洗、合并;部分保留历史处理；

3)汇总数据层：数据轻度汇总,为集市层提高效率；

4)应用集市层：按分析主题，供业务分析使用；

5)数据计算层：在HDP集群基础上，实现数据的离线、内存计算、实时流计算、批量调度处理。

3.技术架构

大数据智能分析决策平台的技术架构，主要包括以下方面:

数据接入及存储层：根据不同需求和查询效率的差异性，采用了多种数据库存储策略组合的方式提供服务。利用Kafka、MQ作为消息队列，对接入时序数据进行队列缓存，供各种数据流处理消费分析。

微服务管理层：Nacos作为服务注册中心及配置中心，使用Feign来实现服务互调，使用Ribbon作为负载均衡器，使用采用了Hystrix的作为熔断器，使用SpringCloud GateWay实现服务网关，使用Sentinel做限流 ，使用zipkin实现服务调用的链路跟踪。

可视化层：使用vue做前端展示，nginx做软负载。

数据同步层：支持flink、sqoop、datax、hiveload、API、FTP等多种方式进行数据同步服务，可处理结构化和非结构化数据。

数据开发层：支持sql、python、flink、spark、sparkSQL、hiveSQL、Java、MR的方式进行数据开发。

数据服务层：提供离线下载、对外发布API以及订阅的方式提供数据服务。

数据管控服务：kerberos进行认证，Atala作为血缘分析工具，通过hive上关联的hook，把发送到hive上的数据操作进行采集。使用ranger作为权限管理系统，对表给用户进行划分权限以及设置一些脱敏信息。

统一调度平台：自研的任务调度管理平台，对任务的启停和生命周期实行管理，追踪其生命周期。同时，Master负责为多个处理节点运行提供资源和进程锁及信息同步服务。

二、创新点

大数据智能分析决策平台支持灵活的部署方式，可以轻松的进行实时应用开发，以及提供完整的业务场景解决方案能力，该平台具有以下创新点。

1.提供服务监控、指标监控。

2.日志检索以及全链路追踪分析。 

3.服务或者作业异常发生状态时的告警输出。

4.通过友好的用户操作界面，构建实时流作业。

5.提供在线编辑器定义数据处理作业，支持 UDF 在线开发，作业调试监控，作业段落编排等。

6.提升行内数据质量的真实性、连续性、准确性以及完整性和及时性。

三、技术实现特点

1.技术架构

大数据智能分析决策平台支持 Standalone, Yarn, Kubernetes 部署方式，可以进行灵活的部署与拓展；通过强大的流处理操作表现力，提供事件时间等时间概念，通过丰富的窗口操作，进行有状态计算；通过分布式快照实现的容错，提供 Exactly-once 语义支持和故障发生时状态恢复，有效保障数据的一致性：

2.技术实现

大数据智能分析决策平台，提供 Jar 包管理，作业参数，保存点等可视化环境配置管理功能；提供网页调试工具，模拟大量业务数据输入，监控大量业务数据输出；持作业日志监控，作业运行状态监控和告警； 支持高可用流作业，实时消费暂停，算子配置热更新等高阶功能。

通过提供丰富的数据接入方式解决各类异构数据的实时对接：部署采集器采集主机日志和指标；使用解析模板格式化原始日志；通过传输协议接收和处理外部数据源各类数据；配置数据库日志捕获(CDC)实现同步数据库内容。

通过在线可视化定义指标的数据进件格式、过滤条件、聚合粒度和计算方式等。在实时工作流中提供指标算子实现批量实时指标加工；提供指标服务接收数据并预览指标结果。

通过提供轻量的模型服务管理：发布，监控，预测和评估。使用模型库和实时应用的模型模版，将机器学习和人工智能扩展到实时。

通过在线可视化定义规则集、交叉决策表、评分卡和规则流等。在实时工作流中提供规则算子调用规则，提供规则服务接收数据并测试预览规则运算结果。

四、项目过程管理

五、运营情况

通过本期项目建设，我行已具备了大数据智能分析决策能力，平台采用分布式高可用的架构，上线后系统安全平稳运行，实现了高吞吐、低延迟，在业务数据高峰期无堆积以及数据丢失现象。

通过使用该平台数据计算的开发方法和大量业务数据的处理工具的组合已经可以快速完成不同类型的场景业务的开发。通过对线上交易数据进行实时采集和加工计算，计算出来的指标结果可以实现实时监控，实时报表；也可以向实时工作流的下游供数，构建实时数仓，实现数字化运营，提供了工作效率。

六、项目成效

自从项目上线后，达成了设定目标，取得了非常不错的效果；大数据平台与传统关系型数据库相比，存储价格低廉，降低了硬件资源成本；通过对数据进行标准化，提高了数据指标开发的效率；基于平台开发的驾驶舱、自助分析平台、实时大屏等应用方便业务人员查询使用，并且支持业务人员在平台进行自定义报表，数据统计效率有了很大提高。

七、经验总结 

基于传统的历史数据仓库分析，在业务数据完成后出现问题，即便能够识别出来，事后进行追查的成本也会比较大。构建大数据智能分析决策平台后，能够实时追踪企业内部包括生产设备、人员等的情况，同时还能对产品和服务生产到消费全链条的状态进行监控，提高企业的生产效率。

利用大数据智能分析决策平台，分析计算用户相关的各方面数据，如消费记录、购买偏好等，能够根据消费者需求，让企业能够实时感知到客户需求并及时提供个性化产品和服务，实现基于“情景”的精准商品推送，提升营销效果。 

总体来看，大数据智能分析决策平台在诸多行业拥有成熟的应用场景。随着未来物联网时代的到来，更多的设备将联网，对数据的实时性、大量业务数据分析的要求会更高。