国产化_扩缩容操作手册

国产化-扩缩容操作手册

1、新管理节点申请实名制账号（gbase）
2、新管理节点与老管理节点网络互通（gbase）
（5258，5918，5919，5288，,6268,21，22,12865）
3、硬件、网络检查所有新节点（gbase）
4、进行海南新老机器间网速检查（gbase）
5、配置新管理节点、数据节点kerboers（/etc/hosts,/etc下kdc）
（gbase）--完成--验证klist，kinit
6、4A与新管理节点的网络畅通（gbase）
7、paas平台到新管理节点的网终畅通
8、租户应用服务器到新管理节点网络策略（租户）--5258
9、新节点到文件服务器端口（租户） --ftp：21,sftp：22，hadoop：依据端口
10、如有UDF，提前重新编译 
自定义函数检查，函数里用的复制表记录一下
以下语句可以看库中创建的自定义函数
select * from gbase.proc where type = 'function' \G
查看 body 列中的信息，是否有表(复制表)，如有，使用此函数的sql都需要注意重分布期间报错，如有报错，确保都在一个结构中；

11、扩容操作（具体操作gbase有相关方案）
（1）停服4小时：
      1.1 管理节点、数据节点添加到集群（freenode）
      1.2 管理节点完成同步
      1.3拷贝centos8包下gbase及plugin下so文件到新管理节点
      2.1编辑添加到老vc节点的distribution，执行后
      2.2拷贝centos8包下gbase及plugin下so文件到新数据节点
      2.3并对数据节点执行rebalance
       
==================================================================       
扩容前的环境检查 
1.检查依赖包：bc 、bzip、cgroup、lsof、ncurses包
2、设置/opt目录用户属组为gbase
[root@p10-jzhjf-core-b8-3 ~]# cexec all: 'chown gbase:gbase /opt'
3、修改sshd参数  gbase环境变量添加TMOUT
[root@p10-jzhjf-core-b8-3 ~]# cat /etc/ssh/sshd_config|grep -E "MaxSessions|MaxStartups|ClientAliveInterval|ClientAliveCountMax|TCPKeepAlive|UsePAM"
UsePAM yes
MaxSessions 5000
MaxStartups 3000
ClientAliveInterval 120
ClientAliveCountMax 360
TCPKeepAlive yes
[root@p10-jzhjf-core-b8-3 ~]# cpush all: /etc/ssh/sshd_config /etc/ssh/
重启sshd服务
[root@p10-jzhjf-core-b8-3 ~]# cexec all: 'systemctl restart sshd.service'
在/home/gbase/.bash_profile添加"export TMOUT=36000"
[gbase@p10-jzhjf-core-b8-3 gcinstall]$ cexec all: 'echo "export TMOUT=36000" >> /home/gbase/.bash_profile '
===================================================================
       
一.扩容管理节点 需停止服务
1.先修改集群层的配置文件，添加 skip_file_check=1 参数到配置文件中
2.解压安装包
[root@p10-jzhjf-core-b8-3 /home/gbase/gbase_setup]# tar -xvf GBase8a_MPP_Cluster-NoLicense-9.5.2.45.7_patch.8-centos8-x86_64.tar
3.Root用户执行SetSysEnv.py脚本
[root@p10-jzhjf-core-b8-3 ~]# cpush new_data: /opt/gcinstall/SetSysEnv.py /opt/
[root@p10-jzhjf-core-b8-3 ~]# cexec new_data: 'python /opt/SetSysEnv.py --dbaUser=gbase --installPrefix=/opt'
-----若需要用资源管控，则执行如下：
[root@p10-jzhjf-core-b8-3 ~]# cexec new_data: 'python /opt/SetSysEnv.py --dbaUser=gbase --installPrefix=/opt --cgroup'
设置安装包的用户和属组
4.[root@p10-jzhjf-core-b8-3 /home/gbase/gbase_setup]# chown gbase:gbase gcinstall/ -R
5、修改配置文件
vim demo.options 
6.修改centos8的安装脚本。 vim gcinstall.py 注释掉  gcware版本检查 否则安装会报错
7、gbase用户执行安装
 [gbase@p10-jzhjf-core-b8-3 gcinstall]$ ./gcinstall.py --silent=demo.options --timeout=3600  --generalDBUser=gbase --generalDBPwd='xsxyvcqycvywqd'
 ====观察安装日志，待显示安装完成，在同步kerberos file时，备份新扩管理节点的 /opt/gcluster/server/lib/gbase/plugin 目录
 cexec new_coor: 'cp -r /opt/gcluster/server/lib/gbase/plugin /opt/gcluster/server/lib/gbase/plugin_bak'
8.解压安装包中的 bundle.tar.bz2
[gbase@gbase01 gcinstall]$ mkdir tmp0811
[gbase@gbase01 gcinstall]$ tar -xvf bundle.tar.bz2 -Ctmp0811
[gbase@gbase01 gcinstall]$ cd tmp0811/gcluster/server/lib/gbase/plugin
给.so .la 相关的文件从  压缩包中解解压后，传到 gcluster/server/lib/gbase/plugin 下
9.启动管理节点。 -- 注意c3的名称
cexec coor: 'gcluster_services all start'
10.配置开机自启
cexec new_coor: 'chmod +x /etc/rc.d/rc.local '
cexec new_coor: 'echo "su - gbase -c \"gcluster_services all start\"" >> /etc/rc.d/rc.local'
11.传 /etc/hosts 以及 krb5 注意:此步骤确定在扩容前是否完成，如以及完成，可以忽略不做
从本VC的老节点向新扩容的节点同步/etc/hosts文件，root用户执行
cpush newdata: hosts /etc/
cexec newdata: 'chmod 644 /etc/hosts'
cpush newdata: /etc/krb5.conf /etc/

=====================================================================
二.扩容数据节点
1.先安装数据节点，安装时如果旧节点的gnode未配置 skip_file_check=1 ，后面需要给新加的数据节点配置文件加入 skip_file_check=1 
步骤参考:
修改配置文件
vim demo.options 
   cat xxx.ips|tr "\n" ","   ---整理IP

====执行环境变量
cpush new_data: SetSysEnv.py /opt/
cexec new_data: 'python /opt/SetSysEnv.py --dbaUser=gbase --installPrefix=/opt --cgroup'

修改centos8的安装脚本。 vim gcinstall.py 注释掉  gcware版本检查 否则安装会报错

gbase用户执行安装
[gbase@p10-jzhjf-core-b8-3 gcinstall]$ ./gcinstall.py --silent=demo.options --timeout=3600  --generalDBUser=gbase --generalDBPwd='xsxyvcqycvywqd'

cexec new_data: 'cp -r /opt/gnode/server/lib/gbase/plugin /opt/gnode/server/lib/gbase/plugin_bak'
 
 
2.新节点加入vc 
gcadmin addnodes gcChangeInfo_vc1new.xml vc1

<node ip=""/>

3.创建distribution
gcadmin distribution gcChangeInfo_vc1new.xml vc vc1 p 1 d 1 db_user gbase db_pwd 'xsxyvcqycvywqd' dba_os_password 'xsxyvcqycvywqd'

注意:此步骤如果在老的centos 7 节点无法创建，报错为 scp相关错误，则去新扩容的centos 8 管理节点执行即可

4.停服，解压安装包中的 bundle.tar.bz2
[gbase@gbase01 gcinstall]$ mkdir tmp0811
[gbase@gbase01 gcinstall]$ tar -xvf bundle.tar.bz2 -Ctmp0811
[gbase@gbase01 gcinstall]$ cd tmp0811/gnode/server/lib/gbase/plugin
给.so .la 相关的文件从  压缩包中解解压后，传到 gnode/server/lib/gbase/plugin 下

5.启动服务器，初始化hashmap
cexec new_data: 'gcluster_services all start'
集群初始化
[gbase@deepcloud-1-7 gcinstall]$ gccli -uroot
GBase client 9.5.2.17.115980. Copyright (c) 2004-2020, GBase.  All Rights Reserved.
gbase> use vc vc1;
Query OK, 0 rows affected (Elapsed: 00:00:00.00)
gbase> initnodedatamap;
Query OK, 0 rows affected (Elapsed: 00:00:00.27)
6.清理新扩数据节点的gbase.user表的 user_storage_size 值
cexec new_data: "gncli -ugbase -pxxx -e\"update gbase.user set user_storage_size = 0 ;FLUSH PRIVILEGES;\""

调整 gcluster_rebalancing_concurrent_count 参数
    gbase> set global gcluster_rebalancing_concurrent_count=0;
    Query OK, 0 rows affected (Elapsed: 00:00:00.01)

执行重分布命令
    gbase> rebalance instance;
    Query OK, 6 rows affected (Elapsed: 00:00:00.17)

7.重新执行SetSysEnv.py脚本
[root@p10-jzhjf-core-b8-3 ~]# cpush new_data: /opt/gcinstall/SetSysEnv.py /opt/
[root@p10-jzhjf-core-b8-3 ~]# cexec new_data: 'python /opt/SetSysEnv.py --dbaUser=gbase --installPrefix=/opt'
-----若需要用资源管控，则执行如下：
[root@p10-jzhjf-core-b8-3 ~]# cexec new_data: 'python /opt/SetSysEnv.py --dbaUser=gbase --installPrefix=/opt --cgroup'

8.同步hosts和krb5
cpush newdata: hosts /etc/
cexec newdata: 'chmod 644 /etc/hosts'
cpush newdata: /etc/krb5.conf /etc/

9.开机自启  
====root执行
cexec new_data: 'chmod +x /etc/rc.d/rc.local '
cexec new_data: 'echo "su - gbase -c \"gcluster_services all start\"" >> /etc/rc.d/rc.local'

cexec new_data: 'systemctl start cgconfig.service'
cexec new_data: 'systemctl stop cgconfig.service'
cexec new_data: 'cgclear'
cexec new_data: 'mount -t cgroup -o cpu,cpuacct cpu /cgroup/cpu'
cexec new_data: 'umount /cgroup/cpu'
cexec new_data: 'systemctl start cgconfig.service'
cexec new_data: 'systemctl enable cgconfig.service'
10.调整资源池磁盘，内存。
确定新机器与旧机器的磁盘、内存是否一致，不一致时需要按照相对较小的资源设置静态资源池，若资源已分配完，需要先调小动态池的资源，再调整静态池。