GBase 8a
运维管理
文章

GBase 8a集群加载hdfs文件namenode高可用的原理

发表于2025-03-05 13:25:33101次浏览2个评论

集群通过gbase_hdfs_namenodes参数来配置所有可用的namenode。

第一次加载时,会判断加载语句url中的ip是否存在于该参数列表中。如何判断ip是否存在于参数列表中,集群的做法就是简单的对比字符串。

若不存在于列表中,集群会认为该次加载不属于高可用范畴,正常访问该namenode节点进行连接。

若存在则按顺序依次进行连接测试,遇到standby节点或是节点宕机、连接不通等报错,会继续切换下一个namenode进行连接测试,直到找到active节点。加载结束后还会将该active节点记录到一个全局map文件中,方便下次加载快速找到active节点。

并非所有的报错类型都会去遍历寻找active节点,比如:成功连接第一个namenode节点,开始读取hdfs文件,这时发现没有权限报错返回。这种情况再去连接下一个namenode也会是无权限。文件又不会发生变化,所以这种情况不适合高可用,没有必要全部节点访问完之后再把错误抛出。


正确使用方法: 参数配置ip则加载语句url中使用ip;参数配置域名则加载语句url中使用域名。(如果参数配置ip,而加载url使用域名。集群会认为域名不存在高可用列表中。不会生效高可用)。

评论

登录后才可以发表评论
用户头像
柒柒天晴发表于 2个月前
三人行必有我师
崔哥发表于 1个月前
东南形胜,三吴都会,钱塘自古繁华,烟柳画桥,风帘翠幕,参差十万人家。云树绕堤沙,怒涛卷霜雪,天堑无涯。市列珠玑,户盈罗绮,竞豪奢。重湖叠巘清嘉。有三秋桂子,十里荷花。羌管弄晴,菱歌泛夜,嬉嬉钓叟莲娃。千骑拥高牙。乘醉听箫鼓,吟赏烟霞。异日图将好景,归去凤池夸。