一、项目方案

基于海量数据的精细化财务会计引擎项目是依托hadoop生态圈相关技术搭建，基础数据从oracle同步到大数据平台采用自主研发的snake实时同步工具，计算引擎使用Spark，数据库采用Hbase+Hive。财务规则引擎在数据处理时使用分布式、数据分区等方案，具备日账5分钟、月帐10分钟处理完成的水平。处理步骤如下：

1.实时数据推送：基于待制证原始数据表数据从oracle同步至大数据平台，设置ogg for bigdata推送消息至kafka中，根据topic去消费kafka中的消息，并通过解析配置消息进行个性化的数据筛选以及锁定数据范围。利用Spark Steaming+Kafka，针对时间窗口期间发生变更流水轨迹，推送新数据至大数据平台《待制证基础数据hive表》。

2.保单级明细制证结果表生成：每日9点启动财务会计引擎定时任务，读取《待制证基础数据hive表》数据，通过相关制证配置表，利用Spark Core+SparkSQL将待制证数据进行往来处理、借贷科目生成、9大段值转换处理等，终生成保单级明细制证数据，并将数据存储至《保单级明细制证结果hive表》。

3.制证汇总表生成：制证明细数据生成后，为了减少对总账系统的效率与存储影响，需对明细数据进行汇总处理。财务会计引擎通过汇总规则配置信息利用Spark Core对明细数据进行汇总处理，生成《汇总制证结果hive表》，然后通过sqoop将制证数据导出至总账财务系统。

将财务源待制证明细数据通过会计引擎快速生成保单、险种层级的明细数据，方便精准定位目标数据，方便保单层余额查询，提供准确高效的数据支持。

二、创新点

该项目全部为我司自主创新研发，将传统业务系统低效率功能、无法在传统项目中完成的功能整合到大数据平台，解决传统项目因效率瓶颈导致的各类痛点问题。项目利用spark+sparksql+scala+hive等开源大数据相关技术搭建，在效率上，相较于传统项目oracle方案下每天早六点、晚8点共需要4小时才能跑完200万条数据，大数据会计引擎只需要5分钟左右即可完成。2021年11月中，招股书需要将保费收入拆分披露，针对这个需求，大数据会计引擎对2年约8亿的原始凭证进行记账处理，仅用3小时即执行完成，效率提升190倍。

同时，财务会计引擎结果数据精细化到保单维度，支持IFRS17项目对财务数据各维度的要求，也为下游利用明细制证结果的保单级科目余额分析、现金流分析等提供数据支撑，方便财务部进行财务管理及风险管控。以上案例可以看到该系统较传统应用方案，在效率上提升非常明显，通过提升效率及相关的管理功能，大幅提升了公司财务的风险管理能力。

三、技术实现特点

1.财务大数据分析处理平台是依托hadoop集群搭建，计算引擎使用Spark，数据库采用Hbase+Hive，相较于传统Oracle数据库制证速度大幅提升，针对大数据量级的数据生成效率提升极其显著。

2.可提供开业以来财务层级所有保单险种级明细数据的查询与数据分析服务，并可满足IFRS17下各维度数据的供数要求。

3.精细化财务会计引擎基于hadoop平台搭建，相较传统方案，可大幅降低所需硬件费用。

4.保单层明细数据生成，为我们下一步的数据分析提供了便利，满足精细化的数据要求，同时为保单级余额分析、现金流分析等功能提供了有力的数据支持。

四、项目过程管理

项目各阶段的实施周期：

1.需求分析：1个月

2.详细设计：1个月

3.代码开发：3个月

4.INT+UAT测试：1个月

5.生产试运行：1个月

五、运营情况

该项目于21年9月1日正式推广使用，已连续稳定运行9个多月。原oracle方案下，会计引擎每天需要4小时才能执行完大约200万条基础数据数据，大数据会计引擎下只需要5分钟左右即可完成。除了为财务部提供高效且明细的会计引擎功能外，财务数据精细化到保单维度，支持了保单级的科目余额分析、现金流分析，方便财务部进行财务管理及风险管控。同时，为进行中的IFRS17项目提供全方位的财务数据支持。

六、项目成效

随着公司体量的增长，数据的积累也越来越大，而对数据的准确性、效率等要求也越来越高。再加上全球新的会计准则IFRS17的推进，对保险业数据要求也更加精确。

精细化财务会计引擎基于hadoop平台搭建，若使用oracle达到相同的效率大约需要20余台服务器支撑，预计费用在320余万，而在大数据平台下硬件费用仅需约8万元，预计一次性可节省硬件费用300万。

新的会计引擎可支持数据的高效处理，同时可提供针对制证数据各维度数据采集、查询、各种运维服务的快速支持，运维成本预计可节省8万/年。

随着逐年数据量的增加，保单明细级的会计引擎结果数据占用空间巨大，传统项目的数据存储成本高，所以在大数据平台下，数据存储费用预计可节省20万/年。

精细化的财务会计引擎预期将为业务开展发挥越来越大的作用，价值将更为凸显

七、经验总结

项目建设方面，项目建设初期定下来的方向，一是解决会计引擎效率问题保证日账、月结等重要节点10分钟内完成，二是需要提供保单级的明细制证数据供下游IFRS17、余额分析、现金流分析使用，三是需要考虑保单级明细数据存储所需费用问题。有了大方向，那么技术选型也方向基本上已经确定，然后再根据方向再逐步细化设计，完成具体的技术选型。

项目推广方面，新系统上线时，都需要面对新老系统切换时数据一致性问题、用户操作习惯改变的问题，那么前期设计时就需要大幅度的做到对用户无感。

1.在切换前后数据准确性上，系统并行期间进行了2个月新老系统的数据一致性检核，反复进行各类一致性检核，保证了新老系统数据的一致性；同时现有功能提供了数据流转前后各维度数据的自动一致性检核，保证了上下游数据的准确性。

2.在用户操作与数据使用上，因本次制证为保单级明细维度，但对于终接收制证数据的总账系统来说，接收明细数据对系统的承受能力将带来很大的挑战，所以为了不对后端系统产生影响，在送总账系统前对保单级明细制证数据进行了一次汇总，这样既保证了保单级明细数据使用的需要，又保证了对总账系统的零影响，且对使用结果数据的用户也是无感。