一、项目背景

公司存在多个业务系统，数据存储分散，未能统一集中管理，不同系统间的数据存储口径差异大，无统一的数据标准，给日常经营分析和监管数据报送带来了诸多不便；同时随着大数据和人工智能等新技术的快速普及，以关系型数据库为基础的传统数据架构已无法完全适应新业务场景的使用要求，无法快速提供经营分析指标，无法有效应对新型监管要求，也无法直接提高销售队伍产能。

二、项目方案

通过数据架构建设项目，将核心系统、销售管理系统和财务系统等多个系统数据整合加载，搭建具备实时计算能力的企业级数据平台；实现数据存储的集中、数据模型的标准化、数据开发的高效，弥补长期以来公司的数据架构短板；以数据湖和标准化数据模型为基础，全面升级可视化报表平台；搭建实时计算引擎，实现代理人佣金业绩考核和客户累计风险保额的实时计算，为公司提供标准化和高时效的数据计算查询服务。

项目实施平台：星环Transwarp大数据平台+Oracle19c

三、创新点

1）新型数据架构：搭建了基于传统关系型数据库和星环大数据平台的新型混合数据架构。数据湖和标准化数据模型建立在关系型数据库上，充分发挥传统数据仓库的长处；实时流计算引擎建立在大数据平台上，支持秒级计算，两套架构相互融合，取长补短。

2）集中化数据湖：实时归集11个系统的完整数据，解决了数据不集中和读写不分离的问题，清单报表数据查询效率由原来的20秒提升至1秒，监管数据报送工作效率获得大幅提升；

3）标准化数据模型：分析983张数据表，整理超过2万个数据字段，建立82个数据模型，解决数据模型不标准的问题；

4）智慧决策平台：搭建可视化智慧决策平台，支持业务自助分析、领导驾驶舱、移动报表和手工填报等全新功能；

5）实时化流式计算引擎：首次引入实时计算平台，改变过去单一的批量处理数据方式，计算速度提高到秒级。

四、技术实现特点

1）星环Transwarp大数据平台技术

数据推送使用OGG和Kafka技术，实时流计算使用Slipstream技术，数据存储使用Hyperbase、Inceptor和HDFS技术，离线数据加载和调度使用Transporter和Workflow技术，这些技术的使用有效确保实时流计算引擎的稳定运行。

2）Redis缓存技术

代理人佣金计算考核和客户累计风险保额计算需要合并实时计算的当日数据和离线计算的历史数据，通过Java Stream实现实时与离线计算结果的整合同步，通过K-V形式在Redis缓存中实现全量实时数据的合并，统一对外提供高效极速的数据查询服务。

五、项目过程管理

项目各阶段的实施周期为：

项目管理上严格遵循PMP方法标准，专注于项目范围、进度、干系人、人力、沟通、风险和质量等管理规范，推动完成项目按计划交付，工作方法如下：

范围管理：编写《合同》和《工作说明书》共17181字，明确项目实施范围和执行细节；

进度管理：制定《项目计划》，详细分解成345项工作任务包，并明确每项任务包的责任人和完成日期，推动每项任务目标达成；

关系人管理：识别和管理36位干系人，输出5份《需求分析文档》，确保干系人预期达成；

人力管理：优选和管理18人的技术实施团队，并制定《人员配备管理计划》，解决资源使用瓶颈；

沟通管理：组织召开69次专项沟通会议和92次团队站会，协调7家支持厂商配合提供83次技术服务，收集输入超50份技术参考文档；

风险管理：识别和处置48个项目风险，确保项目正常执行和交付； 

质量管理：审核修改项目文档超30万字，检查代码超2万行，验收核对数据百万条，确保项目高质量交付。

六、运营情况

平台从2021年1月上线试运行至今，在智慧决策平台上已上线70余张报表，受到用户部门广泛好评，实时流计算引擎运行稳定，已完成生产数据验证工作，业务系统接入工作有序开展。

七、项目成效

项目上线后，达成了预定目标，取得了很好的项目成效：

1）降低硬件部署成本：引入的Hadoop大数据平台相比Oracle等传统关系型数据库，服务器与存储价格低廉，降低了硬件成本；

2）降低报表开发成本：标准化数据模型提高了技术人员开发报表的效率，开发一张报表平均由5天降至1天；

3）提高数据统计效率：数据湖大幅提升智慧决策平台查询效率，且支持业务人员自助制作报表，数据统计效率提升60%；

4）提高数据报送效率：通过系统汇总不同来源数据，并进行标准化处理，将监管数据报送工作量减少2-3倍；

5）激发一线展业积极性：代理人佣金和业绩KPI实时计算，支持晋升和降级考核结果数据实时查询，提高了销售团队展业积极性。

八、经验总结

搭建了基于传统关系型数据库和大数据平台的新型混合数据架构，充分发挥两种技术的优势；建立集中化数据湖和标准化数据模型，降低了报表开发和监管数据报送的成本；升级智慧决策平台，提升数据服务效率；搭建实时流计算引擎，实现代理人佣金业绩考核和累计风险保额的实时计算，赋能一线销售队伍，助力公司数字化转型。