南大通用GBase 8c数据库故障定位案例分析-启动失败

在当今信息化、大数据的环境中，数据库的应用无处不在，它作为存储和管理数据的核心，对于企业的运营具有至关重要的作用。然而，就像所有的技术产品一样，数据库也可能会出现各种问题。本文针对南大通用GBase 8c可能出现的数据库启动失败进行故障定位分析。本文以GBase 8c V5 5.0.0版本为例。

故障现象

GBase 8c数据库安装好后无法正常启动，例如显示如下错误信息：

排查过程

（1）从数据库的启动失败信息入手，首先查看日志，确认端口占用信息。
进入到日志目录下，执行命令：

cd $GAUSSLOG

如下图所示：

1）排查pg_log最新的日志发现，内核日志中无明显报错，可以确定启动信号未传给数据库内核，从而判断om工具检测不通过，导致抛出异常，数据库启动失败。
2）排查om日志发现，有明显的5432端口占用报错信息，例如返回如下信息：

（3）发现端口占用问题，检查端口占用情况，执行命令

netstat -anpt |grep 5432

例如返回如下信息：

上图表明该机器上存在一个postgres进程，已经占用GBase 8c配置文件中所需的5432端口。

（4）解决端口问题。为了不影响其他服务运行，可以通过修改GBase 8c服务进程的端口。

1）进入安装目录下，执行：

cd $GAUSSHOME

2）修改postgresql.conf配置文件：

vim postgresql.conf

将port修改为其他，例如5432修改为15400。

3）启动数据库服务，例如执行：

gs_om -t restart

本次安装不再出现端口占用的错误，成功启动。尽管由于演示机器内存过小，并且部署了多款应用服务，出现内存不足的提示，本文围绕故障停机展开，此错误提示可暂时忽略。

注意：如果其他占用端口的服务不再使用的话，也可以直接使用kill -9杀掉服务进程。谨慎操作！

排查思路

本文采用的例子比较简单，故障一目了然，但在其他实践环境中，我们还是要全面排查，总结排查思路如下：

• 检查日志：首先查看数据库的启动日志，了解启动失败的具体原因。
• 检查配置参数：确认配置参数是否合理，是否因系统资源不足或配置参数不满足内部约束导致启动失败。
• 检查数据节点状态：确认所有数据节点状态是否正常，是否存在异常节点导致整体启动失败。
• 检查目录权限：确认数据库数据目录及关键系统目录（如/tmp）的权限设置是否正确。
• 检查端口占用：确认配置的端口是否已被其他服务占用。
• 检查防火墙设置：确认系统防火墙设置是否允许数据库服务通过。
• 检查互信关系：确认各节点之间的互信关系是否建立正确。
• 检查机器资源使用情况，例如磁盘占用率 df -Th 、cpu 使用率 top、内存使用率 free -g、主备网络是否正常。
• 使用demesg排查操作系统错误日志、是否有硬件故障、系统重启等告警信息。

解决方式

那么怎么解决问题呢，通常可以采用如下方式来解决。在实践的时候，请结合排查得到的问题来分析使用：

• 调整配置参数：根据日志提示调整不合理的配置参数，确保系统资源充足且满足内部约束。
• 修复数据节点：对异常的数据节点进行修复或替换，确保所有节点状态正常。
• 修改目录权限：使用chmod命令修改目录权限，确保数据库用户具有必要的读写权限。
• 释放端口：关闭占用端口的服务或更改数据库服务的端口号。
• 调整防火墙设置：在防火墙中开放数据库服务的端口，或允许特定IP地址访问数据库服务。
• 重新建立互信关系：按照gbase的部署文档重新配置各节点之间的互信关系。
• 对于资源不足等场景，通过top命令排查机器那些进程占用的资源，评估是否正常，然后处理相关进程是否可以优化。
• 对于硬件故障等问题，通过修复或更换硬件，保证操作系统状态正常后，重新启动数据库。

通过这个案例也能认识到，任何技术产品尤其是数据库产品需要进行定期的备份和检查，以防止损坏、故障各种问题。