项目背景

随着数字化浪潮的推进，特别是在互联网金融驱动下的电子渠道打破了银行业固化网点模式后，银行业在提升交易效率、扩大交易客户面的同时，需要面对层出不穷的大数据场景挑战。大数据场景下，需要解决超大数据量的存储问题，还需要具备强大的数据处理能力，此外围绕海量数据建立的全面的集群资源监控、管理、预警能力以及高可用、高容错机制也是一个稳定的大数据处理平台所必备的。在此要求之下，上海雅捷信息技术股份有限公司根据银行金融大数据特点，推出了结合Hadoop大数据技术的GPU分布式数据库DataTurbines方案。

行业痛点

作为主流的大数据解决方案，Hadoop技术因为成熟的软件生态、稳定的生产运维表现、以及灵活高效的弹性扩展特性，被广泛应用于金融和电信领域的大数据解决方案。虽然Hadoop集群在面对海量批处理任务下拥有较为高效的表现，但是在部分领域如实时查询领域和复杂计算任务处理方面还存在一些性能瓶颈。一方面Hadoop处理核心完全依靠CPU，当部分CPU节点满载时，整个集群的处理能力就受到极大制约。另一方面，Hadoop底层数据存储机制使其更擅长处理批量作业而不适合于实时查询，这使得很多时候Hadoop集群虽然保存了海量数据，但是无法直接提供给上游系统查询使用，需要额外进行加工和转存，增加了上游系统获取数据的门槛。

方案优势

雅捷的DataTurbines分布式数据库方案将GPU作为新的数据处理硬件引入到Hadoop生态中。与传统CPU不同，GPU本身具备高计算速度、高数据吞吐能力以及方便的单机扩展能力。此外GPU具备海量并行核心，因此能轻松应对多线程并发能力，特别适合于多脚本，多任务的数据同时处理的场景。GPU的加入能极大地弥补目前Hadoop技术在大数据处理方面可能存在的算力不足以及实时响应较慢的问题，特别是对于复杂计算任务，使用专为GPU开发的SQL执行引擎DataTurbines能将性能提升几十倍至百倍，大大降低了复杂任务的处理时间，这对于作业队列意义重大。特别是GPU与CPU基本可以相互独立运行，这意味着DataTurbines在执行复杂计算任务时，CPU完全可以继续运行其他Hadoop任务，大幅提升集群的使用效率。

项目方案

面对大数据处理的挑战，雅捷从硬件和软件两个层次上进行了创新，给出了基于软硬件一体的DataTurbines分布式GPU数据库解决方案。

在硬件层级上，DataTurbines系统可采用由丽台科技总经销的英伟达DGX-1服务器作为硬件平台解决方案。DGX-1服务器具备单服务器支持8张P100计算卡的服务能力。从硬件算力角度来说，一台DGX-1的浮点运算能力与140台同规格CPU的PC Server的计算能力相当。此外，对于GPU服务器关键的IO方面，DGX-1配备7TB 固态硬盘阵列以及两个万兆网口以及25GB的Infiniti Band光纤口，同时8块GPU间使用NVLINK进行连接，这些硬件配置加强了数据在内存、磁盘、服务器节点之间的数据传输效率，大化GPU在计算上所带来的时间节省优势。

在软件层级方面，Hadoop+GPU数据库的系统架构图如下图所示：

整个系统中使用DataTurbines+Impala组件双SQL引擎进行大数据任务处理。整个系统的资源还是由Hadoop的Yarn进行统一管理。数据底层则使用HDFS作为分布式文件存储系统。外围系统通过CDC工具将新增数据同步到系统的HDFS中。两个数据引擎根据系统任务读取相应数据到各自引擎中进行数据处理。

系统中Impala负责处理纯IO类任务，而DataTurbines负责处理任务中较为复杂的计算任务以及前后数据表关系紧密的任务，这是因为纯IO类任务在GPU上提供的性能提升并不显著，此部分任务交给与Hadoop结合更加紧密的Impala处理效率更高。通常，在数据加工的中后期，就涉及到较为复杂的指标加工计算，这时也是系统计算压力大的时候，使用GPU数据库能缓解计算压力，加速指标加工类任务。此外，银行业务报表往往包含多个相互独立的报表模块，当上一个指标处于GPU加工状态时，下一个加工任务已经可以在Impala上进行指标数据抽取工作了。通过合理的在同一调度平台上设置任务执行顺序，可以大限度的提升整个集群的并发能力。此外，加工后的部分数据可以保留在DataTurbines数据库中，直接供外界查询，对于外围系统来说，应付日常业务的数据查询完全能做到秒级查询反馈。

系统框架

DataTurbines数据库采用以GPU计算卡为基本单元的容器化集群部署。集群服务主要由管理节点（MG）、协调节点（COP）、超级查询节点（SQC）、聚合节点（AGG）等单元构成，基本方案架构如下：

主要组成单元功能描述：

管理单元(MG)：

提供了一整套可视化组件来完成DT集群参数配置与管理，包括集群启停、弹性扩缩容、运行状况实时监控、异常捕获与故障恢复及元数据管理等功能。

协调单元(COP):

提供对外服务接口，具备任务全局规划与调度分发功能，根据集群多活配置灵活调度节点，根据任务负载情况进行调整，指定任务聚合节点。

超级查询单元(SQC)：

DT的核心处理单元，基于“CPU协调调度+GPU并行处理”的处理模式快速快速实现当前节点的数据查询与加工任务，并将子结果发往AGG。

聚合单元(AGG)：

用于收集集群各节点的任务处理结果，将各个子结果进行统一整理聚合后返回至COP。

DataTurbines本身被设计成支持云化部署的容器模式，每一个SQC即是一个独立的容器，可以对其独立分配CPU、GPU、内存、硬盘等资源，同时容器间可根据配置信息进行自由组合，一台服务器上可以运行单一容器，也可以同时运行多个分属于不同集群的SQC容器，这对于类似DGX-1这种算力较强的服务器，可以有效利用其硬件资源实现集群性能的弹性扩展。此外，DataTurbines容器化也有利于集成各种第三方组件如Hadoop容器服务、消息中间件服务等，方便软件栈的搭建和运维。

方案特点

由上海雅捷信息技术股份有限公司自主研发的DataTurbines，是采用GPU并行计算技术加快数据处理，支持SQL2003标准的国际领先的高性能MPP（分布式计算）数据库，其创新性在于充分发挥了GPU计算卡的处理核心多、传输带宽高、并发能力强等特点，显著提高数据加工处理能力与即时查询统计效率。DataTurbines（简称DT）主要有以下几方面特点及优势：

1. 查询速度快：

经过多项对比实测，比传统关系型数据库有100-400倍，与内存数据库也有数十倍的提速。特别是对全表扫描，模糊查询，大表Join，各类统计查询等低效SQL、复杂SQL有很好的性能表现。

2. 数据处理能力强：

DT特别适合计算密集型的数据加工及数据分析场景，并行处理能力尤为突出（三级并行架构：机器间并行、机器内部的GPU卡间并行、GPU内部的计算单元间并行），可显著提升数据处理批量作业执行效率，经过实测对比内存数据库有20-50倍的提升。

3. 高可靠性：

分布式的架构，使得单点故障不影响整体使用，加上完善的冗余备份机制，快至数秒间的恢复及替换，真正做到高可用，数据保存在分布式文件系统中，节点故障不影响数据的完整性。

4. 高扩展性：

DT的分布式计算架构（MPP），使得它不仅可与Hadoop其他应用无缝对接，还可根据节点负载情况，动态优化SQL执行计划，降低数据IO成本。此外，GPU集群同Hadoop集群一样可根据生产性能需要弹性扩缩集群规模，动态调整轻量灵活。

5. 强兼容性:

DataTurbines支持SQL2003标准，支持大部分主流数据库功能，并针对Oracle数据库 以及IBM 的DB2数据库等银行使用较多的传统数据库进行函数和语法上的兼容，降低业务迁移成本。此外，DataTurbines封装了C/C++/Python等多种编程语言的API，可直接访问和操作数据库，也支持JDBC/ODBC通用数据库连接协议。

6. 占用空间小，能耗低:

以GPU为载体，减少硬件的占用空间，在大幅提升数据处理速度的同时大大降低能耗。

实施效果

2016年，在江西农信上线的DataTurbines实时数据查询系统，使用Hadoop+DataTurbines 2.0方案，为江西农信CRM系统提供后台实时数据查询功能。实现了5700万客户，9000万账户，2000万日交易量的在线数据分析功能。全行3万客户经理，可通过CRM系统对1300个指标进行自由组合筛选目标营销客户，大大提升了客户经理的营销能力。此外，系统提供了1000并发下200ms以内的响应时间，为CRM系统提供了良好的后端数据支持。

2018年，在江西农信上线异构大数据双活数据基础平台，使用hadoop+DataTurbines3.0方案与原有的IBM Netezza数据库组成双活系统，为江西农信提供数据报表加工服务。DataTurbines系统承担了其中时间占比超过50%的复杂报表加工任务，整个系统相比于Netezza原有的报表加工服务，无论是在平台扩展性方面，还是在加工效率方面都有较大提升，而硬件投入相比于Netezza的硬件和运维投入上，减少了一半以上。此外，DataTurbines还承担了诸如领导驾驶舱等下游应用的数据实时查询功能，做到加工查询一体化，得到用户的一致好评。