某项目数据抽样核对简单方案

某项目进行从偶数到gbase8a的全量迁移，涉及库、表、存储过程和数据等，下面简要说一下数据核对的思路。

数据有两个来源，第一是历史数据，该部分数据按照从偶数抽取，落成文件，文件加载到gbase的流程进行处理，第二种是日常的前端系统卸载的数据，该部分数据可以直接执行文件加载到gbase，针对两种来源数据，执行数据核对如下：

1.条数核对

按照统一的时间字段分别对偶数和gbase已经迁移的数据，统计时间段对应的数据量，然后进行核对，一致则通过。

2.明细核对

由于表数据量较大的关系，明细核对按照抽样进行，历史数据核对按照以下步骤进行：

A.从偶数按条件或者不设置条件抽取10条数据，落成文件

B.将文件加载到gbase的核查临时库

C.gbase库内执行 临时核查库 和 已迁移库的数据驻字段核对

D.临时核查库的数据导出到文件

E.将A步骤和D步骤的文件，做sort处理后分别计算 md5，如果一致则通过

日常加载数据核对方法与历史数据核对类似，A步骤的源数据从偶数抽取改成从日常文件中取10条样例数据即可。

3.明细核对可能出现的问题

A.偶数中的numeric如果不设置精度，默认再gbase创建表后列属性为decimal(65,6)，数据可能与原偶数内的不一致，如果条件允许，可以计算一下偶数内涉及到的列数据的精度的最大长度，依此作为修改依据。

B.偶数的numeric如果设置精度，数据如果不足精度，并不会自动补齐，这个表现与gbase不同，数据核对时需要依据数据最大精度设置，免数据异常截断，

C.gbase的decimal类型列数据加载时会自动截断或者补齐精度，此时会产生Waring，但不会有skip，但是加载到bigint/int类会报skip，

D.decimal修改为bigint后，可能数据会超出bigint范围，引发后续问题，需要持续关注。