活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

1.插件使用与说明

zhparser是一个中文分词插件，基于全文搜索架构实现。它使用SCWS（Simple Chinese Word Segmentation）分词引擎，提供高效准确的中文文本处理能力，主要功能包括：

* 中文文本分词
* 停用词过滤
* 词干提取
* 全文索引支持

在目前zhparser插件版本中支持的token type（词性）有：

| 词性 | 说明 |
| --- | --- | 
| a | adjective，形容词 |
| b | differentiation，区别词 |
| c | conjunction，连词 |
| d | adverb，副词 |
| e | exclamation，感叹词 |
| f | position，方位词 |
| g | root，词根 |
| h | head，前连接成分 |
| i | idiom，成语 |
| j | abbreviation，简称 |
| k | tail，后连接成分 |
| l | tmp，习用语 |
| m | numeral，数词 |
| n | noun，名词 |
| o | onomatopoeia，拟声词 |
| p | prepositional，介词 |
| q | quantity，量词 |
| r | pronoun，代词 |
| s | space，处所词 |
| t | time，时语素 |
| u | auxiliary，助词 |
| v | verb，动词 |
| w | punctuation，标点符号 |
| x | unknown，未知词 |
| y | modal，语气词 |
| z | status，状态词 |

1.1.扩展插件

```
-- 创建扩展
CREATE EXTENSION zhparser; 
-- 创建分词器
CREATE TEXT SEARCH CONFIGURATION public.zhcfg (PARSER = zhparser.zhparser);
-- 修改分词规则
ALTER TEXT SEARCH CONFIGURATION public.zhcfg ADD MAPPING FOR n,v,a,i,l,j,e,t,d,m,g,b,k,h,r,s,q,p,c,u,x WITH simple;
```

1.2.文本搜索函数（TS functions）

| 函数 | 说明 | 用法示例 |
| --- | --- | --- |
| to_tsvector([config, ] text) | 将文本转换为tsvector（词条向量），用于索引 | to_tsvector('zhcfg', '现代服务业园区') |
| to_tsquery([config, ] query) | 构造tsquery对象，用于匹配tsvector | to_tsquery('zhcfg', '现代 &amp; 服务业') |
| plainto_tsquery([config, ] text) | 将自然语言文本转换为tsquery，自动拆词 | plainto_tsquery('zhcfg', '现代服务业园区') |
| phraseto_tsquery([config, ] text) | 将文本按短语解析为tsquery | phraseto_tsquery('zhcfg', '现代服务业') |
| websearch_to_tsquery([config, ] query) | 按Web搜索语法生成tsquery（带引号、AND/OR等） | websearch_to_tsquery('zhcfg', '“现代服务业" OR 园区') |
| ts_headline([config, ] document, query [, options]) | 高亮匹配词，生成搜索摘要 | ts_headline('zhcfg', jint_box_name, to_tsquery('现代 &amp; 园区')) |
| ts_rank(vector, query [, weights]) | 返回匹配权重评分 | ts_rank(to_tsvector('zhcfg', jint_box_name), to_tsquery('现代 &amp; 园区')) |
| ts_rank_cd(vector, query [, weights]) | 类似ts_rank，考虑距离和密度 | ts_rank_cd(to_tsvector('zhcfg', int_box_name), to_tsquery('现代')) |

1.2.1.to_tsvector

```
-- 把文本转成 tsvector，用于全文索引
testdb=# SELECT to_tsvector('public.zhcfg', '现代服务业园区支部楼');
 to_tsvector
----------------------------------------------
 '园区':3 '支部':4 '服务业':2 '楼':5 '现代':1
(1 row)
```

1.2.2.to_tsquery

```
-- 构造 tsquery，用于匹配 tsvector
-- 匹配 tsvector 中同时包含“现代”和“园区”的记录
testdb=# SELECT to_tsquery('public.zhcfg', '现代 &amp; 园区');
 to_tsquery
-----------------
 '现代' &amp; '园区'
(1 row)
```

1.2.3.plainto_tsquery

```
-- 将自然语言文本转换为 tsquery，自动拆词
-- 自动分成 '现代' &amp; '服务业' &amp; '园区' &amp; '支部楼'
testdb=# SELECT plainto_tsquery('public.zhcfg', '现代服务业园区支部楼');
 plainto_tsquery
--------------------------------------------
 '现代' &amp; '服务业' &amp; '园区' &amp; '支部' &amp; '楼'
(1 row)
```

1.2.4.ts_headline

```
-- 高亮匹配词，生成摘要
-- 结果类似：' 现代 服务业 园区 支部楼'
testdb=# SELECT ts_headline('zhcfg', '现代服务业园区支部楼', plainto_tsquery('zhcfg', '现代 园区'));
 ts_headline
------------------------------------
 现代 服务业 园区 支部楼
```

1.2.5.ts_rank

```
-- 计算匹配权重，用于排序
-- 返回一个浮点数，值越大匹配度越高
testdb=# SELECT ts_rank(to_tsvector('public.zhcfg', '现代服务业园区支部楼'), plainto_tsquery('public.zhcfg', '现代 园区'));
 ts_rank
----------
 .0985009
(1 row)
```

1.2.6.ts_rank_cd

```
-- 计算匹配权重，考虑词语密度和距离
testdb=# SELECT ts_rank_cd(to_tsvector('public.zhcfg', '现代服务业园区支部楼'), plainto_tsquery('public.zhcfg', '现代 园区'));
 ts_rank_cd
------------
 .05
(1 row)
```

1.3.调试函数

| 函数 | 说明 | 示例 |
| --- | --- | --- |
| ts_debug([config,] text) | 显示分词和词性解析结果，调试zhparser | ts_debug('zhcfg', '现代服务业园区') |
| ts_token_type([config]) | 列出配置支持的 token type（词性） | SELECT * FROM ts_token_type('zhcfg'); |

1.3.1.ts_debug

```
-- 查看分词结果及词性
-- 会输出每个token、词性、位置等
testdb=# SELECT ts_debug('public.zhcfg', '现代服务业园区支部楼');
 ts_debug
-------------------------------------------------
 (t,"time,时语素",现代,{simple},simple,{现代})
 (n,"noun,名词",服务业,{simple},simple,{服务业})
 (n,"noun,名词",园区,{simple},simple,{园区})
 (n,"noun,名词",支部,{simple},simple,{支部})
 (n,"noun,名词",楼,{simple},simple,{楼})
(5 rows)
```

1.3.2.ts_token_type

```
-- 列出 zhparser 支持的所有token type（词性）
testdb=# SELECT * FROM ts_token_type('zhparser.zhparser');
```

2.zhparser 使用场景总结

2.1适合的场景

1.全文检索

* 替代 LIKE '%xx%'，在长文本（文章、标题、地址、公司名、业务标签等）上做检索。
* 示例：

```
SELECT * FROM opt_device_box
WHERE to_tsvector('public.zhcfg', jnt_box_name) @@ to_tsquery('public.zhcfg', '现代 &amp; 园区');
```

2.多关键词逻辑搜索

* 支持 AND / OR / NOT 组合，LIKE 无法表达这种逻辑。
* 示例：

```
-- 搜索包含 “现代” 且包含 “服务业”
SELECT * FROM opt_device_box
WHERE to_tsvector('public.zhcfg', jnt_box_name) @@ to_tsquery('public.zhcfg', '现代 &amp; 服务业');
```

3.大规模数据检索（高性能需求）

* 表数据量百万~亿级，LIKE '%xx%' 会全表扫描；
* zhparser + Gin索引能毫秒级返回结果。

4.需要相关性排序

* 可以用ts_rank_cd排序，让匹配度高的结果排前。
* 示例：

```
SELECT jnt_box_name,
 ts_rank_cd(to_tsvector('public.zhcfg', jnt_box_name),
 to_tsquery('public.zhcfg', '现代 &amp; 园区')) AS rank
FROM opt_device_box
WHERE to_tsvector('public.zhcfg', jnt_box_name) @@ to_tsquery('public.zhcfg', '现代 &amp; 园区')
ORDER BY rank DESC;
```

5.输入比较规范（≥2个字的词语）

* 比如“现代”、“服务业园区”，能被正确切分并索引。

2.2.不适合的场景

1.单字搜索

* zhparser不会把“现代”切成“现”和“代”，所以输入一个字时查不到。

2.模糊子串搜索

* 例如 %现代%、%代园%、%现代,园区%。
* 这类需求属于子串匹配，要用pg_trgm三元组索引。

3.跨词拼接查询

* 如 %服务园区%，分词结果是“服务业”、“园区”，zhparser不会拼接跨词。

4.拼音/同义词检索

* zhparser只做中文分词，不支持拼音、同义词扩展，需要额外扩展词典或正则。

2.3.实际业务注意事项 （针对中文全文检索）

2.3.1.输入长度判断

建议对用户输入长度进行判断，以选择检索策略：

* ≥2 个字：使用zhparser进行分词检索，效果较精准。
* 单字或过短文本：可提示用户输入更多关键字，以提高检索准确性。

2.3.2.避免stop word影响

* 中文检索中，部分常用词（如“的”、“了”、“在”）可能被zhparser当作stop word忽略。
* 建议根据业务场景：
 * 自定义stop word表，保留业务重要词汇。
 * 对关键字段，可以禁用stop word或单独建立索引。

2.3.3.检索精度与性能平衡

* zhparser 分词索引精度高，但索引较大，更新成本高。
* 对查询频繁的字段，可定期维护索引，避免文本更新导致索引不准。

2.4.查询写法差异演示

2.4.1.插入查询所需数据

```
testdb=# INSERT INTO opt_device_box (jnt_box_id, device_id, jnt_box_name, device_state) VALUES
testdb-# (805258236, 'UTF8028', '河垛村-GF1234', 0),
testdb-# (805258237, 'UTF8029', '河垛村-GF1235', 0),
testdb-# (805258238, 'UTF8030', '垛村河-GF1236', 0),
testdb-# (805258239, 'UTF8031', '智能河垛村探索', 1);
INSERT 0 4
testdb=# select count(1) from opt_device_box;
 count
---------
 6020006
(1 row)
```

2.4.2.使用LIKE模糊匹配

```
testdb=# SELECT id, jnt_box_id RESID, device_id RESNO, jnt_box_name RESNAME
testdb-# FROM opt_device_box
testdb-# WHERE jnt_box_name LIKE '% 河垛村 %' COLLATE "zh_CN.utf8";
 id | resid | resno | resname
---------+-----------+---------+----------------
 6097088 | 805258236 | UTF8028 | 河垛村-GF1234
 6097089 | 805258237 | UTF8029 | 河垛村-GF1235
 6097091 | 805258239 | UTF8031 | 智能河垛村探索
(3 rows)

Time: 3160.935 ms
```

说明：

* % 河垛村 % 可以匹配任意位置包含 "河垛村" 的记录。
* COLLATE "zh_CN.utf8" 用于保证中文排序/比较符合中文规则。
* 匹配结果不依赖分词，顺序和停用词不会影响匹配。
* 缺点​：对长文本或复杂短语匹配可能精度低，无法识别中文分词。

2.4.3.使用to_tsquery全文检索（zhparser分词）

```
testdb=# SELECT id, jnt_box_id RESID, device_id RESNO, jnt_box_name RESNAME
testdb-# FROM opt_device_box
testdb-# WHERE to_tsvector('zhcfg', jnt_box_name) @@ to_tsquery('zhcfg', '河垛村');
 id | resid | resno | resname
---------+-----------+---------+----------------
 6097092 | 805258236 | UTF8028 | 河垛村-GF1234
 6097093 | 805258237 | UTF8029 | 河垛村-GF1235
 6097094 | 805258238 | UTF8030 | 垛村河-GF1236
 6097095 | 805258239 | UTF8031 | 智能河垛村探索
(4 rows)

Time: 2.968 ms
```

说明：

* 使用zhparser对中文文本进行分词后检索。
* 匹配的是包含所有分词的记录，不保证顺序连续。
* 可以更智能地处理中文停用词和分词边界。
* **优点**​：更适合复杂文本或多关键词组合的检索。
* ​**缺点**​：需要建立全文索引，更新成本高。
* 注意：垛村河-GF0015也被匹配，因为to_tsquery分词后只要文本包含“河”“垛”“村”即可。

2.4.4.结合全文索引 + 正则约束

```
testdb=# SELECT id, jnt_box_id RESID, device_id RESNO, jnt_box_name RESNAME
testdb-# FROM opt_device_box
testdb-# WHERE to_tsvector('public.zhcfg', jnt_box_name) @@ to_tsquery('public.zhcfg', '河垛村')
testdb-# AND jnt_box_name ~ '河垛村';
 id | resid | resno | resname
---------+-----------+---------+----------------
 6097088 | 805258236 | UTF8028 | 河垛村-GF1234
 6097089 | 805258237 | UTF8029 | 河垛村-GF1235
 6097091 | 805258239 | UTF8031 | 智能河垛村探索
(3 rows)

Time: 3.255 ms
```

说明：

* to_tsquery('zhcfg', '河垛村')：先用分词进行全文检索，快速筛选出包含关键字的候选记录。
* jnt_box_name ~ '河垛村'：再用正则匹配确保关键词顺序连续出现​。
* **优点**​：
 
 * 避免不连续组合被匹配（如“垛村河”）
 * 查询效率比单纯phraseto_tsquery高，因为正则匹配在候选集上执行
* **缺点**​：
 
 * 正则匹配在大数据量字段上仍有一定开销
 * 需要保证输入关键字正则安全

2.5.场景总结

* **zhparser**​：适合 → 整词全文检索、多关键词逻辑搜索、大数据量高性能场景、需要相关性排序。
* ​**不适合**​：单字、子串模糊（%xx%）、跨词拼接、拼音/同义词场景。
* **最佳实践**​：zhparser（整词搜索）+ pg_trgm（模糊搜索）​混合使用​，互补优劣。

3.典型场景示例

以下为 zhparser 中文分词 + Gin 全文索引 典型场景示例。

3.1.建索引

```
CREATE INDEX idx_zhcfg_jnt_box_name 
ON opt_device_box 
USING gin(to_tsvector('public.zhcfg', jnt_box_name));
```

* to_tsvector('public.zhcfg', jnt_box_name)：把jnt_box_name用zhcfg分词，生成词元向量。
* Gin 索引：存储这些词元，支持快速匹配。
* 这样，查询时就不用全表扫描，而是走索引。

3.2.查询语句

```
testdb=# explain analyze SELECT *
FROM (
 SELECT t.id, t.jnt_box_id RESID, t.device_id RESNO, t.jnt_box_name RESNAME
 FROM opt_device_box t
 WHERE t.device_state = 0
 AND to_tsvector('zhcfg', t.jnt_box_name) @@ plainto_tsquery('zhcfg', '河垛村')
) sub;
 QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------------
 Bitmap Heap Scan on opt_device_box t (cost=52.01..56.03 rows=1 width=59) (actual time=0.141..0.142 rows=1 loops=1)
 Recheck Cond: (to_tsvector('zhcfg'::regconfig, (jnt_box_name)::text) @@ '''河'' &amp; ''垛'' &amp; ''村'''::tsquery)
 Filter: (device_state = 0)
 Rows Removed by Filter: 1
 Heap Blocks: exact=1
 -&gt; Bitmap Index Scan on idx_zhcfg_jnt_box_name (cost=0.00..52.01 rows=1 width=0) (actual time=0.102..0.102 rows=2 loops=1)
 Index Cond: (to_tsvector('zhcfg'::regconfig, (jnt_box_name)::text) @@ '''河'' &amp; ''垛'' &amp; ''村'''::tsquery)
 Total runtime: 0.396 ms
(8 rows)

Time: 4.090 ms
```

3.3.关键点

* plainto_tsquery('zhcfg','河垛村') 把输入 "河垛村" 转成全文检索查询（tsquery对象）。 在zhparser分词结果里，"河垛村-GF1234" 会被切成：

```
河垛村 / GF1234
```

所以 河垛村 是一个独立的词元。

* to_tsvector('zhcfg', t.jnt_box_name) 把每行的 jnt_box_name 分词。
* @@ 运算符 判断tsvector 是否包含 tsquery，即“这行有没有包含词元 河垛村”。

3.4.查询结果

```
id | resid | resno | resname
---------+-----------+---------+----------------
 6097083 | 805258236 | UTF8028 | 河垛村-GF1234
```

* 河垛村-GF1234里确实包含词元 "河垛村"
* 且device_state = 0的条件满足
* 所以命中了这一行。

3.5.结论

这条查询的执行逻辑是：

1. zhparser把jnt_box_name分词，索引存储词元。
2. plainto_tsquery('河垛村') 生成查询词元。
3. @@ 判断查询词是否存在于分词结果里。
4. 命中 "河垛村-GF1234"。

本质是整词检索，比 % 河垛村 % 更高效（走 Gin 索引），也更准确。

GBase 8c

南大通用GBase 8c 中文分词插件——zhparser使用说明

南大通用GBase 8c 中文分词插件——zhparser使用说明

评论

热门帖子