1. 项目概况

   • 具备一体化业务管理平台采集数据实时入库的能力；

1、项目背景

集中运营平台（IOP）中的源数据属于为大数据分析而做准备。根据目前IOP源数据并发查询及加载的特点，随着电信业务的发展，会有更多的源数据要更大并发地加载到IOP前置库中，对于这种超大规模并发处理，GBase8s产品更擅长，因此把这部分工作从原有的IOP中剥离出来，形成新的IOP前置系统，为IOP提供更好地数据支撑服务。为了提高IOP前置业务系统的高可用和方便今后业务发展后前置系统的横向扩展，用GBase8s数据库集群技术来支持IOP前置业务系统。分离出来的IOP前置业务系统数据量大约在10T左右，处理数大约是5百左右并发。

2、关注问题

在10TB以上级别数据量，超大规模并发查询和加载入库的实时处理能力。

3、建设要求

• 具备高稳定性，保障一体化业务管理平台7×24业务需求；

• 具备基于共享存储集群架构的高可用集群。

• 满足高峰时段500及以上并发量的处理需求，数据量超过10TB；

• 提供可自动切换节点的高可用方案，无需手动干预；

• 提供数据库服务器间的双向复制，实现特定表数据的双向实时复制。

• 亿行级表响应时间为毫秒级，满足平台业务高峰时期的处理能力；

• 数据库具备负载均衡的能力，可以支撑未来数据量的巨大增长；

提供从服务器、存储到数据库的全国产化平台解决方案，要求数据库对国产

硬件平台的全适配能力。

1. 解决方案

四川移动数据应用与服务系统，业务系统的指标源数据主要通过批量方式进行加载，业务查询主要是把相关业务指标数据的查询出来并展示，并发查询规模大约有500，系统总体数据量大约有10T左右。采用GBase8s非共享存储集群来支持运行。根据系统当前并发查询规模和总体数据量，先建设2节点数据库集群；随并发查询规模增大或总体数据量增大，系统性能无法满足用户标准要求时，再增加集群节点。在2节点集群中，其中1个节点作为主节点来支持批量的数据加载工作，并发数据查询操作可同时利用集群中的2个节点共同来完成，且可做到系统总负载在2节点间的均衡；

系统的应用是通过CM管理器与数据库集群进行连接的，当主节点发生故障（如断电、断网或主节点CPU、内存发生故障或操作系统、数据库软件发生故障等）时，原连接到主节点上的应用会自动连接到辅节点上去，辅节点这时会升级为主节点；节点切换时间长短将受到主节点当时事务处理量的影响，最快的节点切换时间为小于10秒。当辅节点发生故障时，原连接到辅节点上的应用会自动连接到主节点上去，主节点对所有业务应用继续提供支持服务。对于批量加载数据操作，可利用GBase8s外部表的功能，快速地将数据加载到数据库中。为了更好地支持查询的并发操作，所有表的锁粒度应设为行级锁；对于系统中较大表，为了更好地并行操作、提高操作的效率和方便数据管理，要进行分片处理；对于相关表，要按照查询条件或相关表关联字段创建索引，以加快相关数据的查询速度，另外，对于大表的索引也可以进行分片处理，以对大表索引操作利用到并行处理技术，以加快索引数据的查询。在加载大量数据或对大表创建索引时，可把PDQ（并行数据处理）打开，以加快数据的装载或索引的创建。

1、主节点和辅节点不共享数据储存，有各自的独立的数据库存储空间，可预防集群系统中数据存储单点故障的风险；两节点之间除了用光纤网连接或在一个局域网内以外，还要设置心跳网络，以互相检测对方的工作状态，防止节点的故障。

2、所有应用不是直连数据库集群中的数据库节点，而是通过连接管理器CM来连接数据库节点，CM的功能包括读写分离、负载均衡和主节点故障时的节点切换，最短的切换时间为不到10秒，时间长短与主节点当时的工作负载有关。为了保障系统的全面高可用，建议CM也部署在多个应用节点上，不与数据库节点在一起。

3、除了数据库集群外，还提供了许多数据库管理、应用开发、安全管理及数据库迁移等工具，以方便用户使用。

• 应用效果

  自主可控战略实现：为金融业全面推进“去IOE”战略，为全面加快国产化“安全可控”监管落地施行，为促进行业技术架构发展，起到了积极的表率作用；

  全兼容、全适配的OLTP国产数据库：实现了从服务器、存储到数据库的全国产化金融业务平台解决方案，为客户业务系统的数据安全提供有力保障；

  满足用户系统建设的业务需求：满足了用户应对高并发数据处理系统建设需求，提升了系统高可用，和满足日后随业务扩大进行系统扩展的要求。