DuckDB 通过 fts 扩展支持全文搜索。全文索引允许查询快速搜索较长文本字符串中单个单词的所有出现位置。

示例：莎士比亚语料库

以下是构建莎士比亚戏剧全文索引的示例。

CREATE TABLE corpus AS
    SELECT * FROM 'https://blobs.duckdb.org/data/shakespeare.parquet';

DESCRIBE corpus;

每行的文本位于 text_entry 中，每行的唯一键位于 line_id 中。

创建全文搜索索引

首先，我们创建索引，指定表名、唯一ID列以及要索引的列。我们将只索引单个列 text_entry，其中包含戏剧中行的文本。

PRAGMA create_fts_index('corpus', 'line_id', 'text_entry');

现在可以使用 Okapi BM25 排序函数查询该表。没有匹配的行将返回 NULL 分数。

莎士比亚对“黄油”说了些什么？

SELECT
    fts_main_corpus.match_bm25(line_id, 'butter') AS score,
    line_id, play_name, speaker, text_entry
FROM corpus
WHERE score IS NOT NULL
ORDER BY score DESC;

与标准索引不同，全文索引不会随着底层数据更改而自动更新，因此您需要在适当时候 PRAGMA drop_fts_index(my_fts_index) 并重新创建它。

生成语料库表的注意事项

有关更多详细信息，请参阅“从 JSON 生成莎士比亚语料库以进行全文搜索”的博客文章。

• 列包括：line_id, play_name, line_number, speaker, text_entry。
• 为了使全文搜索正常工作，每行都需要一个唯一键。
• line_id KL/2.4.132 表示《李尔王》，第二幕，第四场，第132行。