GBase新闻

专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商

GBase技术征文大赛 优选一等奖是如何练成的

发布时间:2022-05-24

日前,GBASE联合墨天轮社区共同举办了《第一届GBASE技术文章有奖征文活动》。本次活动获得了社会各界朋友的广泛支持,数百次文章转发,6000多名用户参与投票,票选出了优选文章一、二、三等奖。某部直属单位运行管理部数据库工程师黄永厚撰写的《数据平台开启转型之路:GBase 8a在复杂查询场景下的性能实践》获得1708张选票,荣获优选文章一等奖。

一等奖.jpg

作者介绍

黄永厚-某部直属单位运行管理部数据库工程师

从事数据管理二十余年,主要与Oracle数据库打交道,经历过疯狂的东方龙马Oracle时代(Oracle716/734/817等等),主持过基于PostgreSQL的国产数据库产品的研发。对数据库产品的性能优化和高可用建设较为关注,积累了一定经验。

黄永厚表示:为构建可持续的业务发展,计划引入MPP数据库集群架构,承接现有和未来的海量结构化数据复杂分析查询,从而优化核心数据库平台资源利用。数据库国产化转型是最近几年的技术热点,无论是从技术角度还是从行业政策角度来说,均会对我们自身的数据平台可持续未来发展产生重要影响。通过开展POC原型验证测试和技术储备积累,加速推动数据库平台国产化转型,也希望可以为同行提供一定的借鉴。

GBase 数据库印象

本人于2018年底开始接触和深入了解国产数据库产品和开源数据库产品的发展,重点关注了解了南大通用-大规模分布式并行数据库集群系统GBase 8a后发现,在国内分析类MPP数据库市场,GBase 8a的应用较为广泛。2021年5月,抱着系统学习和了解的心态报名参加了GBase 8a线上学习训练营。源于职业习惯和爱好,个人部署了一套较为简陋的环境进行原型验证测试,从而验证了不同种类的数据库产品优势所在。对于分析类的数据需求,数据加载效率、数据类型兼容性、结构化查询友好性以及复杂查询性能,就此类指标整理此篇文章,让我对国产数据库产品的性能也有很大的改观。

国产数据库发展看法和建议

从长远视角而言,数据库国产化替代是必然结果。目前在保证业务连续性的前提下,对各大主流国产数据库和开源数据库产品开展调研、测试和原型验证。条件允许的情况下,会选择合适的业务部署使用国产数据库产品,以便为核心业务的更换积累迁移和运行经验。

但目前对于国产数据库厂商而言,用户往往将他们的产品直接和Oracle此类老牌企业级数据库产品相比,在某种程度而言相当不公平。因此也面临着以下几个问题:

1. 数据库研发对人才要求很高,要有很高很深的知识面和丰富的数据管理经验,闭门造车和纯理论派都很难造出市场真正需要的数据库车轮子。人才的缺乏,是当前亟待解决的问题,这也意味着需要很高的投入。

2. 数据库产品路线图规划:客户往往关注操作友好性(用户习惯延续性)、数据一致性、数据零丢失、高可用、集群、灾备、备份与恢复、数据导出导入以及数据迁移等数据库运维常常涉及的主要环节。随着互联网和物联网的广泛使用,现在的企业数据与20年前相比,基本翻了几十倍,TB级数据已具有普遍性。对数据库产品来说,多节点、云原生、K8s容器化等要求逐渐成为主流趋势,伴随而来的就是数据路由等辅助产品的研发。目前大多数行业的核心业务市场还是集中在关系型数据库上,不管是传统的单机型关系型数据库,还是最近崛起的分布式关系型数据库、云原生分布式关系数据库、云原生HTAP数据库,数据库产品经理都要在功能上达到平衡。数据库产品的设计首先要保证能用,然后实现好用,如果能做到这一点,最起码可以成功一半。

数据库的技术门槛较高,但像MySQL、PostgreSQL等开源数据库,入门门槛相对较好,但是作为一名从业多年的DBA,想对新入行的同行说:数据库往往是整个技术架构的单一核心,可用性要求非常高,内部机制繁杂,往往涉及到底层存储、网络、操作系统以及多变的业务逻辑、海量数据处理、高性能的查询响应、零数据丢失、灾备等交叉影响。系统地学习数据库的系统管理、性能优化和内部机制,是非常有助于自身的快速成长。