gcdw安装部署及HDFS相关配置

gcdw安装部署及HDFS相关配置

配置资源限制

1、编辑 /etc/security/limits.conf

gbase soft sugpending unlimited
gbase hard sugpending unlimited
gbase soft nproc unlimited
gbase hard nproc unlimited

2、将文件推行送到集群各节点

cpush all: /etc/security/limits.conf /etc/security/limits.conf

3、配置/etc/hosts

编辑 /etc/hosts
将hadoop集群的主备namenode的IP列表及对应主机名，所有datanode的IP列表及对应主机名，kdc域名ip列表及对应主机名添加到/etc/hosts。

4、将文件推送到各节点

cpush all: /etc/hosts /etc/hosts

5、gbse用户配置互信

参照配置互信文档

6、解压安装包

tar -xf /opt/tools/gcdw-NoLicense-9.8.0.7.6-redhat8-x86_64.tar.bz2  -C /opt/gcdw/

7、gcdw目录授权

chown -R gbase.gbase /opt/gcdw/

8、分发SetSysEnv.py并执行

cpush all: /opt/gcdw/gcinstall/SetSysEnv.py /opt/gcdw/SetSysEnv.py
cexec all: "python /opt/gcdw/SetSysEnv.py --dbaUser=gbase --installPrefix=/opt/gcdw --cgroup"

9、demo.options Kerberos认证方式的配置参数详解

gcluster_instance_name= 实例名

instance_root_name= 集群最高用户

instance_root_password= 集群最高用户的密码

gcdw_STORAGE_STYLE= 存储类型，目前支持s3和hdfs两种类型。

gcdw_HDFS_NAMENODES= namenode节点的地址和端口，暂未使用

gcdw_HDFS_URI= 【hdp\hdfs】://用户地址:端口/【路径/】  

hdp为http协议,hdfs为rpc协议。

用户:使用的kerberos的用户。

地址:namenode节点的地址。

端口:namenode的http或rpc端口

路径：租户提供，需要对用户有读写权限。

gcdw_HDFS_AUTH_MODE= kerberos

gcdw_HDFS_PRINCIPAL= klist获取,比如hdfs/gcdw@HADOOP.COM

gcdw_HDFS_KEYTAB= 包含kerberos用户和密码的凭据文件，可以从远端ftp下载，也可以指定本地文件，比如/opt/hdfs.keytab

gcdw_HDFS_KERBEROS_CONFIG= kerberos的配置文件，是从KDC机器上复制过来的，必须保持一致。 可以用ftp下载，也可以用本地，比如/etc/krb5.conf

10、执行部署脚本

cd /opt/gcdw/gcinstall
./gcinstall.py --silent=demo.options

11、部署成功后检查

集群安装完成后检查
account --show

12、修改gcluster参数

所有节点分别执行，使用安装节点的gbase用户，进入/opt/节点ip/gcluster/config目录，执行

编辑 gbase_8a_gcluster.cnf

[gbased]

gcdw_hdfs_client_timeout=600

_t_gcluster_support_cte=1

table_definition_cache=5120

table_open_cache=1280

gcluster_random_insert=1

gcluster_send_client_data_timeout=1800

group_concat_max_len=10240



#加载参数

gbase_hdfs_auth_mode = kerberos

gbase_hdfs_protocol = rpc

gbase_hdfs_keytab = /etc/user.keytab

gbase_hdfs_principal = hadoop/namenode@HADOOP.COM

gcdw_hdfs_namenodes =   9.8.0.7.7_patch.2版本必须设置该参数

gbase_hdfs_namenodes =  格式为   ns01主ip,ns01备ip|ns01主主机名,ns01备主机名



[gbasedump]

保存退出，修改其他管理节点的gbase_8a_gcluster.cnf,最后重启gcluster服务(涉及ip不同，必须手动修改)

13 修改gnode参数

所有节点分别执行，使用gbase用户，进入 第一个数据节点/opt/节点ip/gnode/config目录，执行

编辑 gbase_8a_gbase.cnf  

[gbased]



gbase_loader_parallel_degree=4

gbase_parallel_degree=4

gbase_parallel_max_thread_in_pool=512

gbase_loader_read_timeout=5000

gbase_loader_max_line_length=32M

gbase_export_directory=0

thread_stack=524288

table_definition_cache=5120

table_open_cache=1280

_gbase_sis_ctq_threads=512

group_concat_max_len=10240

gbase_buffer_insert=2G



#加载参数

gbase_hdfs_auth_mode = kerberos

gbase_hdfs_protocol = rpc

gbase_hdfs_keytab = /etc/user.keytab

gbase_hdfs_principal = hadoop/namenode@HADOOP.COM

gcdw_hdfs_namenodes =  9.8.0.7.7_patch.2版本必须设置该参数

gbase_hdfs_namenodes = 格式为   ns01主ip,ns01备ip|ns01主主机名,ns01备主机名

[gbasedump]

保存退出，修改其他管理节点的gbase_8a_gbase.cnf，最后重启gbase服务(涉及ip不同，必须手动修改)

14、设置开机自启动

cexec wh: 'echo "su - gbase -c \"gcluster_services all start\"" >> /etc/rc.d/rc.local'
cexec coor: 'echo "su - gbase -c \"gcware_services all start\"" >> /etc/rc.d/rc.local'
cexec wh: 'chmod +x /etc/rc.d/rc.local'

15、创建warehouse

gcadmin createwh e wh.xml

编辑 wh.xml

添加node ip

修改wh_name,comment message。

执行创建warehouse。

gcadmin createwh wh.xml

至此，gcdw安装部署完成。