GDCP认证学习笔记(三)安装不重要,规划有干货
学习分布式数据库的过程中,安装是必不可少的,自己动手做一遍,可以很好的了解产品的架构、相关组件的概念和整个流程,但说实话,在实际生产应用实践中,安装直接按照手册来就行了,比安装更重要的是,如何做好前期的规划。
GBase8a是一款分布式MPP+SharedNothing架构的数据库,通过软件将多台服务器的硬件组织在一起同时对外提供服务,从而达到高速处理的能力。
基于数据吞吐量、运行效率和高可用的考量,往往需要从三个方面进行规划。
一、服务器非共享资源(CPU/内存/磁盘)
虽然老师反复强调着下面表格中的“最低”配置并非实际可以让数据库跑起来的最低配置,但是看到1*2核,32GB,100GB的配置还是想感慨一下,传统数据库厂商还是太保守了。
从前面课程的学习中,我们了解到,管理节点是对外服务的接口,用户所有的请求都必须先经过管理节点(coordinator),由于管理节点只存储元数据,负责SQL的解析和最终结果的展现,所以承担的负载一般都比较小,理论上可以配置更低一些的资源,如果实际生产中服务器的配置并不相同,那么应该考虑将稍低配的服务器用作管理节点,而将更多的计算和存储资源给到数据节点(Data node)。
由于数据节点是真正的负责数据存储和计算的角色,因此,计算节点的硬件性能直接影响到整体集群的性能,同时考虑理想状态下任务可被平均分配的情况下,单个VC集群的服务器应该选用相同规格的服务器,后续扩容也要保证新加机器的性能不能低于原有机器,以规避MPP架构存在的木桶效应,单台机器的性能短板,可以导致整体集群变慢。
二、网络资源规划
虽然我们平常叫Shared Nothing,但其实仅仅针对Shared Memory和Shared Storage而言,网络资源层面还是需要共享的,分布式数据库内部需要高速的网络互通,对外提供透明的、统一的访问出口,因此,网络规划也需要分两个层面进行:分别是业务平面网络和数据平面网络。
- 业务平面网络(集群外部网络):仅配置coordinator节点即可,用于集群与外部应用层通讯,一般千兆网络连接即可。
- 数据平面网络(集群内部网络):
数据集群中的每个data节点只接入数据平面,只需配置内部网IP。coordinator节点也需要接入数据平面,以保障和data节点的通讯。建议万兆网络连接,可以配置双网卡绑定,同时,数据平面网络建议配置2台万兆交换机组成高可用方案,主备交换机间采用2个以上端口绑定方式进行级联。以提供最大的高可用和吞吐能力,保障任意网络硬件故障不会影响集群的正常使用。
三、高可用规划
分为电源高可用、交换机高可用和节点高可用。
电源的高可用:机柜的电源是独立的 ,互不影响的,遵循了主机供电高可用的原则;
交换机高可用:每个机柜上各配置一台交换机,并且这两台交换机之间是互备的关系,当其中一台交换机发生故障,另一台交换机立即提供服务,遵循了交换机高可用的原则;
节点高可用:分为coordinator节点的高可用和data节点的高可用性。
- coordinator节点的高可用:数据库内置Failover机制,建议将coordinator节点分散部署在不同的机柜内,避免因机柜故障导致所有coordinator节点故障,另外建议奇数个节点,集群允许的故障数量是不超过coordinator节点总数的1/2
- data节点的高可用性:建议将data节点数据的备份分片分布在其它机柜内的节点上。支持多种模式。
- pattern 1(又称“负载均衡模式”)系统提供的默认模式。Pattern 1模式会根据节点的分布方式,自动选择不同的备份规则。节点的分布方式包括:多rack和单rack
rack是机架的概念,rack1上的主分片副本会同步到rack2上,并且按照节点顺序放置,如Node1上分片1和分片7的副本分别放在Node5和Node6上,以保证负载均衡,当Node1出现故障时,备份节点也可以分担业务压力。
单rack就相当于所有服务器在一个机架,同样副本也是按照节点顺序放置,如Node1上分片1和分片5的副本分别放在Node2和Node3上,以保证负载均衡,当Node1出现故障时,备份节点也可以分担业务压力。
- pattern 2(又称“节点高可用模式”)该模式采用将节点内的主分片自动完整备份到下一个节点的备份方式。此种方式忽略了rack的概念,完全是针对节点进行的备份。
每个节点的副本都完全的备份在另外的节点,当Node1出现故障时,备份节点Node2将承担双倍的业务压力,好处是,这种部署模式理论上最多可以承受集群内一半节点的故障,适用于奇数节点和偶数节点分别部署在不同的机柜内的场景。
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25052
- 42023-09-25浏览数:18521
- 52020-05-11浏览数:17526