GBase 8a
安装配置
文章
GBASE8A数据库应用内存配置建议
发表于2024-12-31 09:50:4062次浏览0个评论
参与运算的数据量
以一个2 亿行的表与3 千万行的表进行 join 运算,并对 join 运算结果进行 groupby聚集,最终得到的结果行数为 1.5 亿行的场景为例。参与运算的数据量为 2.3 亿行,超过 100GB(不含不参与运算的字段),得到的结果集也超过 80GB:对于10节点集群,每节点承载的运算数据量超过 8GB,保守评估每节点运算数据量为10GB。
sql执行过程中的中间结果集大小
如两表 join 生成的 hash table 的尺寸大小; sql 执行过程中生成的临时表的大小;这些中间结果集的大小通常不会小于参与运算的原始数据量。延用上例场景,假设每个 gnode 的中间结果集大小也为 10GB。
sql 并发数
客户的业务通常都要求数据库支撑 5~100 个不等的并发。
总结
综上,单个集群节点在上述场景下的内存需求为 10~20GB,在 10个类似 sql 场景并发,单个 gnode 的数据库运算内存需求为 100GB 以上,此外还应为 gnode 分配20GB 以上的内存用于数据缓存。 按照数据库使用操作系统总物理内存 60~80%的比例,在上述场景下,建议单服务器的总物理内存为 120G/0.8=150G 以上。
评论
登录后才可以发表评论
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25044
- 42023-09-25浏览数:18519
- 52020-05-11浏览数:17526