华为云云数据库rds使用zhparser插件_云淘科技

简介

PostgreSQL自带的parser插件适用于分词比较简单的语言(如英语),按照标点、空格切分语句即可获得有含义的词语,而中文比较复杂,词语之间没有空格分隔,长度也不固定,分词还和语义有关,因此parser不能用来做中文分词,建议使用zhparser。

zhparser是PostgreSQL的中文分词插件,安装后可以使PostgreSQL支持中文的全文检索(Full Text Search)。

全文检索总体介绍,请参见全文检索。

更多信息,请参见zhparser官方文档。

支持的版本说明

RDS for PostgreSQL 9.5、9.6、10、11、12、13、14最新的小版本支持该插件。可通过以下SQL语句查询当前实例是否支持该插件:

SELECT * FROM pg_available_extension_versions WHERE name = 'zhparser';

如果不支持,可通过升级内核小版本或者使用转储与还原升级大版本使用该插件。

RDS PostgreSQL实例支持的插件,具体请参见支持的插件列表。

插件介绍

RDS PostgreSQL支持zhparser插件,用于中文的全文检索。

PostgreSQL默认按照空格及各种标点符号来分词,不支持中文分词。RDS for PostgreSQL通过集成Zhparser扩展来支持中文分词。

插件安装与卸载

安装插件

SELECT control_extension('create', 'zhparser');

删除插件

SELECT control_extension('drop', 'zhparser');

更多信息,请参见通过界面安装和卸载插件和通过SQL命令安装和卸载插件。

基本使用

全文检索中文分词功能

-- 查看Zhparser的词典配置
SELECT ts_token_type('zhparser');
-- 配置中文解析器
CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);

添加分词策略

-- 添加名词(n)、动词(v)、形容词(a)、成语(i)、叹词(e)和习用语(l) 六种分词策略
ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple;

测试分词效果(to_tsvector)

SELECT to_tsvector('testzhcfg','华为云数据库 RDS for PostgreSQL是一种典型的开源关系型数据库,在保证数据可靠性和完整性方面表现出色,支持互联网电商、地理位置应用系统、金融保险系统、复杂数据对象处理等场景。');
to_tsvector
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------
'for':5 'postgresql':6 'rds':4 '云':2 '互联网':19 '保证':11 '典型':8 '出色':17 '华为':1 '可靠性':13 '地理位置':21 '场景':30 '处理':28 '复杂':25 '完整性':14 '对象':27 '应用系统':22 '开源':9 '支持':18 '数据':12,26 '数据库':3,10 '方面':15 '是':7 '电商':20 '等':29 '系统':24 '表现':16 '金融保险':23
(1 row)

测试分词效果(to_tsquery)

SELECT to_tsquery('testzhcfg', 'PostgreSQL是一种典型的开源关系型数据库,在保证数据可靠性和完整性方面表现出色');
to_tsquery
---------------------------------------------------------------------------------------------------------------------------------------------
'postgresql' & '是' & '典型' & '开源' & '数据库' & '保证' & '数据' & '可靠性' & '完整性' & '方面' & '表现' & '出色'
(1 row)

进阶使用

利用分词进行全文索引,示例:为t1表的name字段创建全文索引,使用时将SQL语句中的表名(t1)和字段(name)替换为实际业务中的表名和字段值。

-- 创建测试表
CREATE TABLE t1(name text);
INSERT INTO t1 VALUES ('华为云数据RDS for PostgreSQL是一种典型的开源关系型数据库');
INSERT INTO t1 VALUES ('在保证数据可靠性和完整性方面表现出色');
INSERT INTO t1 VALUES ('支持互联网电商、地理位置应用系统、金融保险系统、复杂数据对象处理等场景');
-- 创建索引
CREATE INDEX idx_t1 ON t1 USING gin (to_tsvector('testzhcfg',upper(name) ));
-- 使用全文索引
SELECT * FROM t1 WHERE to_tsvector('testzhcfg',upper(t1.name)) @@ to_tsquery('testzhcfg','(互联网)') ; 
                                                   name                                                    
-----------------------------------------------------------------------------------------------------------
 支持互联网电商、地理位置应用系统、金融保险系统、复杂数据对象处理等场景
(1 row)

父主题: 插件管理

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家