gbase8a多实例部署和numa绑定

多实例—V9.5.3 部署流程
第一步 环境准备：所有服务器按实例分配IP、配置网络环境、创建gbase用户、创建安装路径、执行SetSysEnv.py，其他同常规安装环境
第二步 执行安装：修改demo.options并执行安装，同常规安装
第三步 安装license：获取hostkey时一个服务器只需取一个IP执行获取，安装license时同常规安装所有实例IP需写齐
第四步 初始化配置：创建VC和initnodedatamap同常规操作，创建distribution需按多实例高可用进行创建，使同一服务器的每个ip的分片都备份到其他服务器上
Pattern1：将同一服务器的ip放到一个rack上
Pattern2：将不同服务器的IP在gcChangelnfo.xml中相邻排放
第五步 检查NUMA情况并绑定实例 (修改gcluster services 启动文件)
第六步 重启集群使修改后的启动文件生效
第七步 检查绑定情况

1. ip配置
[root@node36 network-scripts]# pwd
/etc/sysconfig/network-scripts
[root@node36 network-scripts]# vi ifcfg-enp7s0f0
IPADDR=10.10.55.36
NETMASK=255.255.0.0
IPADDR1=10.10.0.37
NETMASK1=255.255.0.0
重启网络service network restart / systemctl restart network
 

2.修改demo.options

coordinateHost = 10.10.55.36,10.10.55.69
dataHost = 10.10.55.36,10.10.0.37,10.10.55.69,10.10.0.70
gcwareHost = 10.10.55.36,10.10.55.69

3.创建distribution
cat gcChangeInfo.xml

Pattern1：将同一服务器的ip放到一个rack上
<?xml version="1.0" encoding="utf-8"?>
<servers>
    <rack>
        <node ip="10.10.0.70"/>
        <node ip="10.10.55.69"/>
    </rack>
    <rack>
        <node ip="10.10.0.37"/>
        <node ip="10.10.55.36"/>
    </rack>
</servers>

Pattern2：将不同服务器的IP在gcChangelnfo.xml中相邻排放
 

<?xml version="1.0" encoding="utf-8"?>
<servers>
<rack>
<node ip="10.10.0.70"/>
<node ip="10.10.0.37"/>
<node ip="10.10.55.69"/>
<node ip="10.10.55.36"/>
</rack>
</servers>
 

4.检查NUMA情况
[gbase@node36 -]$ dmesg grep -i numa
[ 0.000000] NUMA: Initialized distance table, cnt=2
[ 0.000000] NUMA: Node 0 [mem 0x00000000-0x7fffffff] + [mem 0x100000000-0x207fffffff] -> [mem 0x00000000-0x207fffffff]
[ 0.000000] Enabling automatic NUMA balancing. Configure with numa_balancing= or the kernel.numa balancing sysctl
[ 1.266028] pci_bus 0000:00: on NUMA node 0
[ 1.270336] pci_bus 0000:80: on NUMA node 1
[gbase@zhaoyingqi-node-1 -]$ dmesg grep -i numa
[ 0.000000] No NUMA configuration found

[gbase@node36-]$ numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 20 21 22 23 24 25 26 27 28 29
node 0 size: 128658 MB
node 0 free: 39383 MB
node 1 cpus: 10 11 12 13 14 15 16 17 18 19 30 31 32 33 34 35 36 37 38 39
node1 size: 129004 MB
node 1 free: 124261 MB
node distances:
node 0 1
0： 10 21
1： 21 10
 

[gbase@node36 -]$ numactl --show
policy: default
preferred node: current
physcpubind: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
cpubind: 0 1
nodebind: 0 1
membind: 0 1
 

[gbase@node36 -]$ numastat
node0 node1
numa_hit 8711079483 5601839639
numa_miss 252658886 889777589
numa_foreign 889777589 252658886
interleave_hit 61354 61526
local_node 8711073749 5601777672
other_node 252664620 889839556
 

5.绑定实例 (修改gcluster_services 启动文件）

启动脚本位于：/安装目录/IP/gnode/server/bin下
 

6.启动 gcluster_services 文件
方法一：每次启动数据库服务都使用该修改过的 gcluster_services 文件
cd IP/gnode/server/bin
./gcluster_services all start
方法二：将该修改过的 gcluster_services 文件拷贝替换所有实例下的gcluster_services 文件 （包含 IP/gnode/server/bin/gcluster_services、IP/gcluster/server/bin/gcluster_services），后续每次启动数据库服务命令不变，仍使用集群常规的启动命令：gcluster_services all start

[gbase@node36 bin]$ numastat `pidof gbased`
Per-node process memory usage (in MBs)
PID                      Node0      Node1      Total
---------------
38951(gbased)   12.48        393.55       406.03
40162(gbased)    2.77         390.30       393.07
---------------
Total                    15.26       783.84        799.10