一、项目方案

在大数据时代下，业务数据的有效利用已成为银行业务快速、健康发展的助推剂，客户也将数据应用融入到了日常的经营、管理、营销、风控中。并且随着业务的快速发展，对数据的依赖性越来越强，日常数据提取和分析的需求量变得越来越多，于是便面临这样的困境：会数据分析的人不懂业务，而懂业务的人却不会数据分析。往往一个数据分析需求的完成，大的时间成本不是花在真正的取数、分析阶段，而是在前期的需求沟通阶段。在这种配合模式下，业务的数据分析需求总是在无尽的排期和等待中。

因此，重庆银行希望基于Smartbi建设大数据智能分析平台，让业务人员可以减少对技术部门的依赖，可以自主地进行数据分析，以此来提升工作效率并促进全行数据化运营。

项目总体架构：

针对本项目具体架构如下，以大数据平台为基础，提供多数据源的对接。以数据预处理OLAP技术产品体系为核心，实现数据模型化管理，数据分析的预处理，高并发低延迟多维数据分析，ODBC/JDBC/MDX/RestAPI多通道数据访问等功能。以SmartBI升级改造为应用主体，对接现有悟空平台，能够对接Excel表，方便数据分析的使用。

本次项目建设部署在水土数据分析环境，依托于大数据平台，作为大数据平台上的计算及应用模块，实现数据自助智能分析功能。

数据智能分析平台的数据体系结构包括3个层次：数据源层、数据模型层和数据应用层。

数据源层：提供多数据源对接能力，按需扩展数据源，实现数据统一。本项目中对接水土数据分析环境，以独立的集群支持数据分析的数据需求。

数据模型层：提供可视化数据模型设计和管理能力实现数据模型统一，提供数据立方体预计算能力实现高并发低延迟多维数据分析，提供ODBC/JDBC/MDX/RestAPI多种数据访问能力实现多维查询统一，提供BI可视化、自助分析、WEB/APP数据应用、数据智能化Python等多种通道对接能力实现用数统一。数据模型层主要负责数据加工，把原始的数据如客户信息、合同信息、交易流水数据，加工成面向主题分析的业务模型；整个实施过程分成源数据分析、MAPPING、ETL、数据标准化、测试等；终形成的主题模型层，如个金部主题、公司业务主题、风险主题等，用于门户系统的分析、挖掘工具的数据支撑。

数据应用层：通过Smartbi数据分析平台，提供给“管理决策者”、“普通业务用户”、“数据科学家”等用户使用，这些不同层次数据消费者，看到的数据模型一致，获取的数据也一致。实现报表可视化、多维分析、即席查询、自助分析等基本功能，以及数据挖掘算法、机器学习等高级功能数据层面的完全统一。

二、创新点

1.大数据OLAP预处理分析技术

大数据OLAP预处理分析技术是对多维分析可能用到的维度和度量进行预计算，将计算好的结果保存成Cube，供查询时直接访问，把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询，这决定了大数据OLAP预处理分析技术能够拥有很好的快速查询和高并发能力。

2.权限安全及多级授权

数据智能分析平台提供一整套围绕登录用户的信息及权限的管理机制。用户在登入系统需要身份认证，密码采用国密加密机制；平台提供权限控制体系，它可以控制用户功能权限、数据访问权限、资源访问权限。支持按用户、用户组、角色进行管理，支持多级用户管理体系。

多级用户管理机制是指当系统属于多级组织架构，可以把用户管理、权限管理下放给分级机构/组，使分级机构/组拥有管理权限的一种体制。整个安全性管理在企业内部可自顶向下的继承和覆盖，实现完备化、体系化的安全机制。

3.对接元数据管理，增加数据导航功能

项目通过对接元数据管理，在安全受控的前提下开放企业数据资产给用户，业务用户可以在数据资产中快速找到自己需要的数据，并且可以便捷进行数据权限申请。

用户可以在“数据资产”中通过全文检索的方式快速查询平台中有哪些数据可以使用。在权限受控的情况下，对于可用的数据，用户可以通过查看脱敏后的数据，包括数据结构、数据预览、血统分析，判断是否为自己需要的数据。

三、技术实现特点

1.当遇到历史数据量较大、业务关联数据表较多的时候，查询需要的时间较长。因为大数据的优势在于大数据量的单表查询效率较高，但多表关联需要的IO较多，而文件为分布式存储，从而导致关联查询较慢。项目通过引入专业OLAP预处理的分析工具，通过数据预处理建设多维度Cube，通过构建多索引的数据立方体，将计算结果存储在某多个维度值所映射的空间中，在业务人员查询和使用数据分析时，通过对Cube的查询及简单再处理即可快速获取结果。数据经过预处理后，查询性能比直接在现有Hadoop集群上，能够提升3--5倍的效率。

2.根据科技部安全管理的要求，业务人员使用数据分析必须在办公网虚拟桌面里访问，各种用户权限的申请及审批流程比较复杂，致使数据分析的使用及推广过程中存在困难。项目通过提供权限控制体系控制用户功能权限、数据访问权限、资源访问权限。支持按用户、用户组、角色进行管理，实现多级用户管理体系，用户及权限管控通过菜单化配置实现。通过对接元数据管理，能够查看平台的各项数据表，在无授权时，部分字段是加*号的脱敏状态，授权后才可以查看全部信息。对于部分敏感字段，需要二次授权后才可以查看具体内容。

四、项目过程管理

五、运营情况

通过为业务人员提供大数据智能分析平台，业务人员从被动等待技术人员提取数据，转为可随时、自主地通过平台开展数据分析工作，实现“技术搭台，业务唱戏”的崭新数据分析应用模式，在全行范围内形成浓厚的数据文化。

六、项目成效

大数据智能分析平台的建设，既能提高业务人员获取数据的能力，缩短平均数据访问时间，提高工作效率；又能为科技部节省大量对其提供基本数据服务的时间，在加强数据管控的基础上提升数据服务能力，实现数据分析的全面应用和推广。

1.提升业务分析人员在数据分析过程中所需要的性能效率，增强数据分析的应用及推广落地；

2.通过界面化、流程化的权限管控，实现多级在线授权功能，通过对数据权限的流程管理，简化数据授权流程，提升数据权限申请的效率。通过加密、脱敏等方式提升数据使用的安全性，切实保障数据分析的安全及易用性要求；

3.方便业务人员更好的进行数据分析，实现业务人员自助式分析数据的能力。

以前科技部门每个月处理的数据申请单在600张左右，现在下降到350张左右，大部分技术人员投入到更复杂的需求处理中；以前一张申请单从提出到完成需要7天，现在业务人员可自行处理，即使提需求也只需要2天即可完成。

七、经验总结

重庆银行建设了统一的大数据智能分析平台，提升了数据开发、管理、分析效率，实现账号及权限的统一管理，在增强数据安全的基础上方便使用。项目上线后，该行已有众多用户在活跃地使用大数据智能平台进行数据分析，创建了数以千计的的仪表盘、图表、工作表与表格，业务人员都能自主快速地通过数据分析平台构建数据分析应用，以科技智能带动业务智能，深度融合科技与业务，取得效率与成本、风险更高层次的平衡。