GBASE专注用户体验 之二：《大数据分析挖掘体系建设》

GBASE专注用户体验

“为中国用户提供世界级的国产数据库”一直是GBASE努力的宗旨，并且GBASE也一直在为之而努力！

十多年的专注也让我们得到了喜人的市场反馈，以下是转载自《金融电子化》杂志2016年1月刊，来自中国农业银行软件开发中心 赵维平 赵存超的文章。

大数据分析挖掘体系建设

文 中国农业银行软件科发中心 赵维平 赵存超

 

    在大数据时代，复杂的人类行为变得有章可循，旧的生产关系和生活方式落伍出局，新的产业生态和游戏规则喷薄而出。面对这场“数据地震”，如何有效掌握收集、分析、利用数据的办法，变“数”为宝，让数据在业务发展及经营管理中转为生产力，成为银行的全新课题。而数据分析挖掘则是打开数据宝藏的一把“钥匙”。

    数据的分析挖掘有四个层次：通过报表回答“做了什么”，通过客户行为分析回答‘正在发生什么，通过数据锻造产品回答“应该做什么”，通过数据进行预测回答“未来将发生什么”。该如何充分利用内外部的数据财富，唤醒数据的价值，发挥数据对产品创新、精准营销和风险管理的引擎作用？农业银行正跟紧时代步伐，大胆创新，探索实践。

开展思路：

四个原则、七个要点

    农行提出“科技引领业务发展的大数据战略，以建设内外兼修的‘智慧银行”为目标，通过大数据优化银行流程、高效配置金融资源、敏锐洞察客户需求并创造最佳服务体验。通过对海量数据的深度分析，全方位调整产品结构、营销模式，从根本提高风险管理、成本绩效管理、资产负债管理和客户关系管理水平。农行大数据分析挖掘体系的建设，以“充分发挥大数据的综合价值、为业务发展和经营管理增加科技引擎”为立足点，并坚持四个原则、七个要点。

 

1

四个原则

  原则一：业务技术融合与总分行有机联动。数据分析挖掘需要业务驱动和数据驱动双结合，既要有明确的业务视角，又要从数据中挖掘潜在规律。业务和技术的深度融合是让数据价值在银行业务经营管理中落地生根的首要前提。同时，要及时跟进分行最基层经营管理迫切需要解决的问题，使数据分析挖掘更有针对性。

    原则二：平台建设与探索实践相互促进。一方面，通过面向业务领域热点问题和重点方向的探索应用，问题导向、急用先行、快速应用、快速见效；另一方面，逐步摸索分析挖掘的完整流程，积累经验，培养人才，锻炼队伍，促进平台建设，构建并不断完善数据分析挖掘体系。

    原则三：技术创新与价值创造深度结合。创新是大数据的灵魂，技术创新必须与价值创造深度结合，并以价值创造为目标，技术创新为手段。

    原则四：人才培养与能力提升良性循环。一方面，要培养既懂业务经营、又具备大数据技术能力、还有较强创新能力的数据分析师，并建立涵盖业务分析、数据分析、平台建设、数据服务及应用建设的数据分析应用人才梯队。另一方面，要做好数据分析挖掘的管理、运营、评价、应用方面的能力建设，实现科学的数据挖掘流程、高效的数据挖掘执行、合理的数据挖掘评价。
 

2

七个要点

    要点一：以全行大数据平台为基础支撑。大数据平台将全行的数据进行采集、加工和模型化，提供全行统一的客户视图、产品视图、交易视图，为数据分析挖掘提供有力的基础支撑。同时，数据分析挖掘作为全行大数据体系中的一环，通过大数据平台的中转站，实现与其他应用和数据服务的有机融合。

    要点二：以大数据分析挖掘平台为核心。大数据分析挖掘平台是全行数据分析挖掘体系的核心技术平台，它将全行数据分析挖掘的资源进行整合，构建数据分析云环境．实现对全行数据分析挖掘的统一平台支撑。

    要点三：提供全面的分析挖掘数据服务。主要包括：多维分析服务——面向业务自助式的“拖拉拽”服务；海量数据挖掘服务——深入洞察、精准判断和发展预测服务；决策支持服务——经营热点深度分析和智能决策信息服务；定制化数据服务——为内外部客户提供“量体裁衣’式的数据服务。

    要点四：支撑经营分析的多个应用领域。主要分为客户管理、运营管理、风险管理和财务管理四大类，有力支撑全行各业务领域的精细化管理和智能化发展。

    要点五：构建完整的分析挖掘流程体系。数据分析挖掘是一项体系化、流程化、科学化的工程，要构建从数据整合、分析挖掘、落地应用到评价提升的循环迭代、持续优化的流程体系，实现分析挖掘流程化、专业化和规范化。

    要点六：健全配套的管理规范制度办法。包括全行统一的数据分析挖掘管理制度、分析挖掘平台的运营办法、数据分析挖掘的评价标准、分析挖掘结果应用落地的工作指导、有针对性的创新项目管理办法、人才考核激励制度等。

    要点七：打造专业的据分析挖掘团队。通过专业人才及数据分析团队的培养，实现全行数据价值综合利用能力持续提升。

图 大数据分析挖掘平台示意图

价值引擎：

大数据分析挖掘平台

    在整个数据分析挖掘生态圈中，大数据分析挖掘平台是核心，是数据价值转化为生产力的引擎。平台由7个层次组成：数据源层获得源数据，其中大数据平台是最主耍的数据源：数据处理层对各种类型的数据进行有针对性的处理，获得分析挖掘所需的数据信息；分析挖掘层对处理好的数据建立模型进行数据分析挖掘，包括模型的选择、驯化、测试、验证等；决策支持层将分析结果进行固化，并常态化运行，为相关业务应用提供决第支持信息；分析应用层将数据分析的结果进行应用，并将结果反馈给决第中心和挖掘中心；统一展现层对分析挖掘的过程提供可视化服务，同时对分析挖掘的结果和相关分析型应用提供统一的数据展示平台；数据管理层提供数据访问引擎、数据管理引擎及统一的分析挖掘流程管理及平台支持服务。

    大数据分析挖掘平台可以简要总结为“五大中心、三个数据区、两个管理引擎、一个流程平台、统一智能展示”。

  1．五大中心

    是挖掘平台的“心脏，分别为信息提炼中心、非结构化数据处理中心、实时流计算中心、分析挖掘中心、智能决策中心。前三者均属于数据处理层。

    信息提炼中心：完成结构化数据的获取和有针对性的加工、预处理，生成供数据分析挖掘所用的分析挖掘宽表。加工主要包括三类操作：一是进行数据的汇总、拼接、整合，生成供分析挖掘所需的指标；二是对数据进行有针对性的转换，包括连续属性离散化、类别数据进行二元化处理、连续数据进属性变换等；三是对不符台数据质量要求的奇异点进行平滑处理，包括数据降噪、属性补正、奇异点分析及平滑处理等。

    非结构化数据处理中心：采用Hadoop技术架构，对行内外的非结构化数据进行加工处理，包括公开网页信息、社交媒体信息、外购资讯等，为后续客户画像、舆情分析、事件营销分析提供支持。

    实时流计算中心：基于storm技术框架，进行实时流计算处理，支撑实时反欺诈、实时营销等业务应用场景。

    分析挖掘中心：是数据分析挖掘的实验环境。支持海量数据、非结构化数据、实时流数据等多种类型数据的分析挖掘及混合场景处理，支撑多个领域数据模型的探索，支持算法选型、开发测试、模型驯化、对比分析、数据验证和结果评估等过程，并将符合要求的模型部署到智能决策中心；同时对业务应用中的模型定期进行迭代优化，进而不断提升数据分析的精确度和有效性。

    在分析挖掘中心，支持面向多应用主题的多个实验场景，实现了灵活、高效的实验窗口管理方式，能够对数据和计算资源进行合理分配和管理，并最大限度地提供更多的挖掘服务。与此同时，可以给分析挖掘人员提供高效稳定的计算环境，集成的挖掘算法和工具、可提升生产率的共性模型、良好的用户交互界面和便捷的操作风格等。

    智能决策中心：是数据分析挖掘的运营环境。在分析挖掘环境驯化并通过测试评估的模型，在此转变为业务规则处理，实现数据分析挖掘模型的日常运行，最终以数据服务的形式提供给总分行业务人员及相关客户，并将分析结果反馈给业务系统，用于生产经营活动中。可以说，智能决策中心是数据分析挖掘与常规系统建设的契台点，是数据分析挖掘过程应用于生产经营管理的关键一环。

    与此同时，智能决策中心还要及时收回实际应用中的反馈信息，进而进行有效的后评价和持续监控，基于此实现模型的优化提升并对过期无效的模型进行下线和退役。

    2. 三个数据区

  分析数据区：主要存储分析挖掘预处理环境的数据，为后续数据分析挖掘提供基础数据；也可以直接提供给业务人员，进行多维分析服务。

  共性模型区：主要存储数据挖掘中心所探索实践和积累的共性方法模型，构建统一、灵活、高效的模型库，并以组件化的方式提供给分析挖掘使用，提升效率和精准性。

  业务知识区：主要存储数据分析挖掘的结果信息，并转换为业务规则和支持信息，为业务人员和相应的生产系统提供数据服务。

    3. 两个管理引擎

  数据访问引擎：提供全面的数据访问服务，包括数据库访问、数据文件访问、Web Service服务接口等，同时高效实现海量数据快速复制转移，为数据分析挖掘提供技术支撑。

  数据管理引擎：提供元数据管理、数据权限管理、数据资源分配管理、数据质量管理、数据脱敏等服务，为数据分析挖掘过程中的数据管理奠定基础。

    4．一个流程平台

   指的是对数据分析挖掘提供统一流程管理及配套工具支撑，包括三个方面：一是统一的流程管理，将数据分析挖掘的流程进行固化，并提供灵活、便捷的工作流服务：二是提供ETL工具、作业调度、执行监控等配套工县，三是提供用户权限管理、资源管理及任务管理等服务。

     5．统一智能展示

  指的是智能资源视窗，为用户提供统一的、智能的、定制化的展示平台，包括分析报表、即席查询、多维分析等功能，同时整合了各种资源。

技术创新：

数据价值利用的利器

    大数据分析挖掘的目的是为了让数据转换为生产力，而创新则是这个转化过程的孵化器和加速器。农行在构建大数据分析挖掘体系时，注重技术创新，充分汲取最新技术发展成果，借鉴业界的先进实践，尤其是在开放的服务云、融合的架构体系、有农行特色的挖掘模型库、海量数据快速复制/转移、智能资源分配、动态混台的调度机制、内存分析及网格计算、国产数据库的应用等诸多领域做出开创性的探索实践。

    大数据分析挖掘平台最大的一个技术特点是“异构相融”。在数据预处理区融合了MPP架构数据库、Hadoop、流计算Storm环境等技术平台；在数据挖掘中心融合了SAS环境、

基于Hadoop的Spark环境、R语言等先锋实验环境；在智能决策中心融台了MPP架构数据库、Oracle数据库、IQ数据库、Hadoop平台、ODM规则引擎等多种技术平台，充分体现了互联网和大数据技术的最新发展趋势，充分借鉴“云”的概念，实现逻辑集中、物理分散、统一服务、智能管理。

    大数据分析挖掘平台为大数据价值的深化应用奠定了坚实的技术基础，可以为业务应用提供科学、全面的数据分析挖掘服务。多维分析服务可以帮助业务人员实现多维度、多视图、多层次的分析，并通过下钻、上钻、切片、旋转等操作，提供更加动态、智能的数据分析，发现数据背后的规律。例如开展产品盈利分析，可以从机构、时间、客户、产品类型、渠道、营销活动等多个维度进行综合分析，进而有效地进行产品优化和创新。基于数据分析挖掘平台可以实现面向多业务主题的灵活、精准、高效的挖掘服务，如：客户洞察及精准营销、信用评价及风险评估、舆情分析与客户情感管理等。紧跟市场发展动态，直面业务热点、难点，充分挖掘大数据的巨大价值，为业务发展和经营决策提供更深入的客户洞察和有力的支撑。