一、项目背景及目标

随着保险行业数字化的深入，从营销、承保到理赔、结算等保险的各个环节都体现着大数据的广泛应用，例如承保产品精准定价和智能核保、理赔中的反欺诈和智能定损，以及精准营销等等，都需要大数据作为支撑。由此产生了大量的数据研发需求，而目前传统的大数据研发工具因功能有限且不好用，无法满足现在的数据研发需要，严重影响到数据开发团队的开发效率，因此急需一套简单易用，并且能够兼容各中大数据组件的开发工具。在此背景之下，集团科技中心广泛收集产、寿、集团等各数据团队的需求，自研了一套一站式的胡杨林数据开发平台阳光胡杨林大数据开发平台（简称：胡杨林数开平台）。

二、创新点

目前保险行业大部分公司使用的是商用产品或者简陋第三方的开源工具。阳光胡杨林数据开发平台，是一款完全自研的专为数据研发打造的一站式开发平台，无论功能和技术都走在了行业的前列。而其在以下多个方面的开创性设计使得其具备很高的创新性：

一站式的提供大数据开发所需的各种功能，平台将各种大数据开发组件如Hadoop、Spark、Hive、Hbase、Flink、Python等集成到一起。并在此基础上实现了在线的脚本开发平台。并且功能更加人性化，操作便捷，为开发提供代码提示、语法检查等辅助功能，减少出错概率。不仅解决了团队数据开发的痛点，并且免去了对各中组件的依赖，降低了工具维护成本。极大提升了大数据开发效率。

系统页面截图：

平台采用微服务架构，设计了公共增强服务、计算治理服务、服务治理服务三位一体的服务架构体系。平台采用集群化部署，扩展性更强，资源和可承载用户数可弹性扩展。通过解耦的计算引擎连接大数据计算平台，实现了引擎资源的自动回收和复用机制，减少了开发人员与大数据计算平台的交互量。

平台包括上层应用和中间计算层，可插件式对接多种引擎，集成多种应用，平台的功能更容易扩展；阳光胡杨林数据开发平台具备大数据组件的快速集成能力，阳光胡杨林数据开发平台完善的计算治理服务以及公共增强服务均实现了标准化的组件集成接口。已经实现了常用的大部分数据开发引擎，如Hadoop、Spark、Hive、Hbase、Flink、Python等。部分小众的大数据开发引擎也可以通过实现标准化的接口快速对接。

三、项目技术方案

1.系统应用架构

胡杨林数据开发平台是一款数据开发工具，作为数据研发人员与数据底座之间的桥梁，它屏蔽了大数据处理任务提交到底座的技术细节，对数据研发人员提供IDE风格的web界面，集成了各类开箱即用的功能，协助数据研发人员专注于数据脚本的开发工作，大大提升了工作效率。

2.系统技术架构

胡杨林数据开发平台采用SpringCloud微服务框架，所有微服务主要分为三大类：公共增强服务，计算治理服务，微服务治理。其中微服务治理不涉及到具体的应用功能，属于微服务架构的一部分，譬如Eureka注册中心，Gateway网关等。公共增强服务则是把一些应用的基本能力抽离出来，形成标准化的功能模块，对整个应用提供基础能力，譬如，Material Service物料管理会把所有的数据组件引擎，插件等等都物料化，通过统一的方式对他们进行管理与分发，Public Service公共服务则是对上下文，任务提交等等做统一管理。计算治理服务则包括入口服务，任务编排，标签管理，资源管理，引擎管理等等，采用分层设计，将每一项任务的提交阶段化，从而提升整个框架的扩展性。

3.系统数据架构

胡杨林数据开发平台从应用上分为三层：应用层，中间件层，引擎客户端，通过引擎客户端与数据底座进行交互。整个数据开发平台的相关数据则分布在不同地方，元数据和物料等信息放在mysql库中，而用户的脚本以及客户端配置文件，日志文件等都存放在机器的本地文件系统里，任务执行的结果则放在用户的HDFS用户目录下，可以保存较长时间方便回溯历史。

4.系统安全架构

胡杨林数据开发平台的安全架构设计上，充分考虑到了账户安全和数据安全，并通过了我司的安全渗透测试，其安全架构如下：

5.系统业务架构

胡杨林数据开发平台在业务架构上，采用了可插拔式的数据应用开发管理集成框架，可以轻松接入上层各种数据应用系统，可闭环涵盖数据应用开发全业务场景，满足数据导入，脱敏清洗，分析挖掘，质量检测，可视化展示，定时调度，数据服务等等场景需求，并将这些场景串联起来，实现数据研发全生命周期管理。

四、项目过程管理

该项目由阳光保险集团科技中心技术管理部牵头，与基础架构部，支持中心，应用开发部，产险信息技术部，资管数据与信息管理部等团队合作共建。其中技术管理部负责整体方案的技术孵化与落地，基础架构部负责CDH对接技术支持，其他各部门负责方案的落地评估，测试与验证等。主要经历了以下五个阶段：

1.需求分析和概要设计阶段

2022年2月至2022年3月，完成了需求调研，解决方案制定的工作，在走访了产，寿，集团各个数据团队之后并对业内先进解决方案进行充分调研之后，形成了《数据开发平台调研与规划书》文档，并通过了方案评审。

2.系统详细设计阶段

2022年3月至2022年4月，完成了系统详细功能设计工作，确定了一期规划内的功能点清单，架构设计和技术改造规划方案，出具相关的文档，包括《数据开发平台功能设计》，《数据开发平台架构设计图》，《数据开发平台技术方案规划文档》等。

3.系统编码、测试和上线准备阶段

2022年4月～2022年8月，完成开源项目与CDH适配改造，功能测试，对接集团CDH测试集群，完成安全漏洞扫描与修复工作。

4.试点上线阶段

2022年8月～2022年9月，完成生产环境部署，对接生产新1号CDH集群，与支持中心合作进行试点工作，完成对整体功能在数据研发场景下的验证工作。

5.推广应用阶段

2022年9月～2022年12月，完成一期推广试用工作，在产，寿，集团多个数据团队推广试用，取得了显著成效。

五、运营情况

阳光胡杨林数据开发平台已于2022年6月试点上线。上线以来已成功在阳光产险、寿险、资管、信保、集团等10多个数据团安装使用。并成功应用于阳光电销大脑实时处理、阳光客户价值指标计算、阳光大数据实验室等100多个场景的应用。日均在线人数已达到150多人。受到各数据团队广泛好评。

六、项目成效

胡杨林数据开发平台已于2022年6月试点上线。上线以来已成功在阳光产险、寿险、资管、信保、集团等10多个数据团安装使用。并成功应用于阳光电销大脑实时处理、阳光客户价值指标计算、阳光大数据实验室等100多个场景的应用。日均在线人数已达到150多人。受到各数据团队广泛好评。

1.胡杨林数据开发平台提供了一站式解决方案

解决了单个域账号与多CDH账号对接的难题，同一个用户可快捷的在不同的项目和开发组件间切换，解决了数据团队跨平台跨项目跨工具的切换难题，直接提高了团队的开发效率。

2.胡杨林数据开发平台具有更高的易用性

平台基于在线运行模式，免去传统工具的安装过程，实现了各种大数据组件的开箱即用，提高了大数据组件的易用性，大幅提升了大数据开发效率，较之前传统的开发方式提升了至少10% 效率。

3.胡杨林数据开发平台的安全合规性

平台基于统一的网关验证机制，可有效的进行网络的安全保护；数据访问基于Kerberos权限认证体系，保证了各个大数据组件的数据访问安全；限定生产环境的胡杨林数据开发平台在虚拟桌面上使用，保证了生产数据不会流出生产网络区。同时，全方位的数据脱敏机制，也可有效保护敏感数据。全链路用户操作行为日志的收集和记录，可以有效的对用户的行为进行合规分析和管理。

七、经验总结

首先是阳光胡杨林数据开发平台的实用性。阳光胡杨林数据开发平台解决了用户的统一登录难题实现了一个账号同时共享多个数据开发组件，解决了数据团队跨平台多工具的切换难题。直接提高了团队的开发效率。

阳光胡杨林数据开发平台，目前平台在持续的迭代开发中，并且将逐步替换掉已有的大数据开发工具。间接的降低了数据研发的维护成本。平台基于在线运行模式，免去传统工具的安装过程，提高了大数据组件的易用性。阳光胡杨林数据开发平台的上线大幅提升了大数据开发效率，较之前传统的开发方式可提升至少10% 效率。

第二是阳光胡杨林数据开发平台的安全合规性。平台基于统一的网关验证机制，可有效的进行网络的安全保护。数据访问基于Kerberos权限认证体系，可有效的保证各个大数据组件的数据访问安全。平台采用多方位的数据隔离机制，保证数据无法导出和下载，并且实现了全方位的数据脱敏机制，可有效保证铭感数据的安全性。一站式的用户管理实现了全方位的用户的操作行为日志的收集和记录，可以有效的对用户的行为进行合规分析和管理。