一、项目背景及目标

      2020年初，在突如其来的新型冠状病毒肺炎的疫情之下，全国上下展开了一场史无前例的抗疫战争，在这场战争中，从全民“绿码”登记到各类数据的统计分析，大数据以及相关分析挖掘技术成为了抗疫战争中不可或缺的“武器”。放眼当前金融行业，在数据化的时代，传统商业银行从未如此强烈地感觉到数字化的刚性发展需求。疫情后，中国银行业，将迎来范围更广、更彻底的转型发展浪潮，基于智能化的线上金融模式将成为经济增长的发动机。

      为适应时代的变迁，提升客户体验，在竞争中立于不败之地，中小银行对数据挖掘的需求或主动或被动地变得越来越强烈。目前，对我行而言，业务系统基本已经完成信息化的开发工作，随着系统的线上运行，也逐步积累了大量的业务数据。随着大数据平台的建立，平台上层迫切需要更多灵活、便捷的应用支撑。业务系统的智能化升级和商业决策智能化便成为支撑业务发展的迫切需求。为适应时代的变迁，提升业务需求响应速度，我行启动了开放式数据超市系统的建设工作。

二、项目方案

       开放式数据超市系统主要采用B/S架构软件，其体系结构如下图所示

      通过对源业务系统进行数据采集，清理、加工、聚合构建主题集市，配置业务包数据连接，通过spider引擎对数据进行实时读取，保存至Fineindex中，业务通过配置自助化分析报表对数据进行可视化探索分析，并对数据报表进行多屏投放。

      本期开放式数据超市系统构建智能报表管理平台，采用数据仓库作为数据存储平台，采用moia作为调度工具，构建智能存款，集中作业以及信贷分析监测主题集市。项目周期为1年，项目实施内容包含：数据入仓、构建集市、配置业务包、现有固定报表、pc驾驶舱及分析报告。项目需要提供PC端和移动客户端报表平台进行报表展示。

三、创新点

      1、数据可视化

      系统支持丰富的可视化组件，能更加直观反映业务数据中蕴含的深层次信息，包括热力图、电子地图、网络图等。系统能够根据用户选择的数据自动推荐可视化效果图，让用户的数据分析处理更高效。能够让用户以直观快速的方式了解自己的数据，发现数据潜在价值。

      2、数据共享化

      统一发布平台为全行数据的共享提供了有效支撑。通过业务数据分析、后台数据建模、系统预处理、加工好各种业务基础数据；业务人员可以通过简单的托、拉、拽、上卷、下钻、多维分析等方式来自由探索和分析数据，不再仅局限于现有的固定报表；业务人员可以及时方便的发现需要关注的数据集。同时将数据在平台上共享给其他数据需求部门，并且业务人员之间也可以通过系统分享自己创建的仪表盘，实现真正的数据共享。

      3、数据配置化。

      系统支持业务部门通过导入EXCEL数据来进行业务数据填报、支持在线录入表单、支持插入、删除、更新提交。支持数据的配置化及组件复用，针对复杂的业务应用场景，通过对数据的深度加工以及算法模型的训练与调优，提炼出精准的业务规则，更科学的指导业务，为业务服务。

      4、数据分析报告 

      借助数据超市强大的探索式分析能力和数据可视化功能，我们能进一步挖掘数据价值，不再局限于二维固定报告的制作，而是通过制作分析来有效辅助业务决策。数据分析报告通过整合多渠道的数据从多角度进行数据挖掘后，将数据提炼成信息，关注重点要点，并根据数据情况分析问题原因，让各层级的使用者都能从中得到有价值的数据，有效支持日常业务运营，同时通过数据报告的制作，提升了开发人员的数据分析能力和思考能力，逐步培养出一支优秀的数据分析团队，让数据的重要性和价值进一步得到提升。

       5、统计实时化

      基于大数据实时流处理技术，数据超市突破了传统数据仓库T+1式的报表限制，对一些实时性要求较高的业务关键指标进行实时统计，如实时交易量统计、业务流转节点实时监控等。通过实时统计功能，能将一些原来只能事后统计的任务前置化，能够让使用者更加及时的了解业务运营状况，并且通过数字的不断增长让使用者带来更加身临其境的体验感和数字冲击力。

       6、管理线上化。

      数据超市系统提供了便捷的数据录入功能和友好的数据展现功能。借助此功能，我们将一些日常管理中需要手工录入和统计的工作放到数据超市中。员工可通过线上录入数据，数据超市后台自动加工汇总并通过图表加表格的形式进行统计终生成管理报表，通过管理驾驶舱进行实时展现，减少了手工统计的工作量和时间，有效提高工作效率和管理水平。

四、技术实现特点

       1、大数据计算能力：

      数据超市是基于大数据平台顶层、面向用户而设计的全行级统一数据集市。借助于大数据平台精巧的存储结构和高效的算法，而分布式计算引擎给底层数据加工提供出色的处理性能。用户通过数据超市能毫秒级的响应亿级数据量查询，且能满足用户日益增长的多种复杂的数据需求。

       2、平台易扩展能力：

      数据超市采用多节点负载的高可用架构，能很好的保证平台稳定性。当平台用户剧增、资源消耗较大时，平台能插拔式的接入新节点，而整个工作在极短的时间内即可完成。高稳定性、高扩展性、高处理性能及低成本特性将会更好的服务和满足用户。

      3、实时分析能力：

       数据超市对接大数据实时技术。通过此项技术的加持和推进，数据超市在科技管理层面、业务运营层面、客户营销层面、监管报送层面、风险预警层面以及未来发展规划提供很多可能性。

       4、移动端加持：

      数据超市平台提供了PC、大屏、移动端3种终端形式的数据提供方式，满足各种业务场景的数据需要。尤其是手机移动端，经过了人脸识别、设备绑定、分级授权等一系列安全管控之后，能随时随地为使用者提供方便及时的数据信息，较好的满足了5G时代的移动办公需求，同时有效增强了数据使用效率，进一步提升数据价值。

五、项目过程管理

      1、启动阶段

      此阶段时间段为2020年1月，期间主要是对高层级意向收集规划，对高层级需求进行访谈、会议、沟通、定型。提交了需求分析报告、可行性方案论证、项目解决方案、项目整体计划、项目启动材料及人员保密协议等文档。

      2、需求分析和概要设计阶段

      此阶段时间段为2020年4月，期间主要完成业务需求分析、业务调研访谈、源系统数据分析、系统环境搭建、整体需求评审、整体技术架构的高层级设计、模型的主题分类设计。提交了需求清单、需求评审文档、需求规格说明书、系统概要设计说明书、需求调研报告、硬件网络流程图、技术架构和接口的高层设计等文档。

      3、详细设计阶段

      此阶段时间段为2020年5月，期间主要完成了系统功能详细设计和模型设计功能。提交了开放式数据超市系统的详细设计说明书、开放式数据超市系统的模型设计等文档。

      4、系统编码、测试和上线准备阶段

      此阶段时间段为2020年6月至2020年10月，期间主要完成了开放式数据超市功能编码、报表配置、业务包开发、ETL调度配置、ETL开发处理、单元测试、集成测试、业务测试、网络环境测试、移动端app测试、网络安全监测等工作。提交了系统编码材料、系统测试报告、业务测试验收报告、网络安全合规报告、上线方案、系统配置、系统运维实施等文档。

      5、系统上线试运行阶段

      此阶段时间段为2020年10月至今，期间完成了开放式数据超市系统上线，并根据上线情况对相关人员进行培训推广，对业务人员使用情况进行调研反馈，并对调研结果进行系统合理性优化。此阶段系统经历了多次合理性版本迭代，来满足业务功能及关注性报表需求。

六、运营情况

       1、数据监测

       通过对开放式数据超市系统建设，对我行业务数据进行存储、阀值设置，实现我行多年累计数据的波动分析，挖掘分析潜在的机会点，同时风险阀值设置，也有助于我行业务策略的及时调整。

        2、运维监测

      通过对开放式数据超市系统建设，实现对我行整体运维管理实时监测，移动端实时展示对内存和CPU利用率的监控和预警信息，当内存达到指定的瓶颈值时触发短信、邮件、消息等的提醒。此外还支持智能控制会话的存活、清除、模板数据集大行数、生命周期等，保障服务器的稳定运行。 

七、项目成效

       1、提升我行数据资产的有效管理

      通过对开放式数据超市系统的建设，完备了我行数据资产的盘点和处置，优化提升我行现有有效数据资产的存储情况及策略。通过构建业务主题集市，规划整合我行各部门业务数据，挖掘我行业务的潜在机会点，同时提升我行业务报表对主题集市数据的访问响应速度。大大便捷了业务的分析等待时间。

      2、自助式探索分析，释放科技人员时间成本，提升业务能力

     自助式探索分析报表，业务经理可通过开放式数据超市系统，配置自己关注的业务指标和报表，不需要等待科技人员去了解需求开发，释放了我行科技人员制作报表的时间和成本，大大提升了我行业务人员的技术操作能力。同时通过配置分析报告及驾驶舱的分析，也提升业务对整体部门行业数据认的知和决策能力。

       3、移动客户端，提升我行业务快速响应能力

      通过对开放式数据超市系统移动客户端的建设，促使我行人员可以充分利用时间，不局限于场所，随时随地，关注分析行里面的业务数据，动态监测关键指标，方便决策者实时观看数据，做出及时策略调整。同时移动客户端还及时监控展示我行科技运维情况，如：内存和CPU利用率的实时监控和预警，当内存达到指定的瓶颈值时触发短信、邮件、消息等的提醒，保障服务器的稳定运行。快速了解当前运维告警情况，并作出及时正确的致使，减少由于了解咨询时间从而导致我行更大的损失。

八、总结经验

      通过开放式数据超市系统的建设，不仅实现了我行数据从枯燥的表格转向丰富的图形化，而且培养了一批以统计分析为主的数据分析人员，为我行将来更多元化的数据预测分析提供了有效支撑。pc端和移动客户端报表多平台的交互展现，实现我行多设备便捷式报表管理。自助式报表分析，多样式可视化数据展示、快速分享、管理驾驶舱和分析报告等实现我行业务独立智能可视化报表管理。今后，我行将在数据超市系统中进行更多元化的应用，丰富数据钻取维度，提升数据分析精度，为更多的应用场景提供更有力的数据支撑。