⌘+k ctrl+k
1.3 (稳定版)
搜索快捷键 cmd + k | ctrl + k
索引

DuckDB 有两种类型的索引:区域图(zonemaps)和 ART 索引。

区域图

DuckDB 会自动为所有通用数据类型的列创建区域图(也称为最小-最大索引)。谓词下推到扫描操作符以及计算聚合等操作都会使用区域图。如果使用了过滤条件(例如WHERE column1 = 123),DuckDB 可以跳过任何最小-最大范围不包含该过滤值的行组(例如,在比较= 123< 400时,它可以省略最小-最大范围为1000到2000的块)。

排序对区域图的影响

列中的数据越有序,区域图索引的价值就越大。例如,在最坏情况下,一个列可能在每一行都包含一个随机数。这样,DuckDB 很可能无法跳过任何行组。如果你使用选择性过滤器查询特定列,最好在插入数据时按这些列预先排序。即使是不完美的排序也仍然会有帮助。有序数据的最佳情况通常出现在DATETIME列中。

微基准测试:排序的影响

例如,让我们重复使用有序时间戳列(升序)与无序时间戳列的时间戳微基准测试

列类型 已排序 存储大小 查询时间
DATETIME 1.3 GB 0.6 秒
DATETIME 3.3 GB 0.9 秒

结果表明,简单地保持列顺序可以改善压缩效果,使存储大小减少2.5倍。它还使计算速度提高1.5倍。

有序整数

利用排序的另一种实用方法是,对于使用选择性过滤器查询的列,使用自动递增的INTEGER类型而不是UUID。在表中包含乱序UUID的情况下,DuckDB 必须扫描许多行组才能找到特定的UUID值。有序的INTEGER列允许跳过除包含该值之外的所有行组。

ART 索引

DuckDB 允许通过两种方式定义自适应基数树(ART)索引。首先,对于具有PRIMARY KEYFOREIGN KEYUNIQUE约束的列,会隐式创建此类索引。其次,显式运行CREATE INDEX语句会在目标列上创建 ART 索引。

在列上拥有 ART 索引的权衡如下:

  1. ART 索引可以在更改(插入、更新和删除)期间启用约束检查。
  2. 对已索引表的更改操作性能不如未索引的表。这是因为这些操作需要进行索引维护。
  3. 对于某些用例,单列 ART 索引可以提高使用已索引列的高度选择性查询的性能。

ART 索引不影响连接、聚合和排序查询的性能。

ART 索引扫描

ART 索引扫描探测单列 ART 索引以获取请求的数据,而不是顺序扫描表。探测可以提高某些查询的性能。DuckDB 将尝试对相等和IN(...)条件使用索引扫描。它还会将动态过滤器(例如,来自哈希连接的过滤器)推入扫描中,从而允许对这些过滤器进行动态索引扫描。

只有索引单个列且不带表达式的索引才符合索引扫描的条件。例如,以下索引符合索引扫描的条件:

CREATE INDEX idx ON tbl (col1);

例如,以下两个索引符合索引扫描的条件:

CREATE INDEX idx_multi_column ON tbl (col1, col2);
CREATE INDEX idx_expr ON tbl (col1 + 1);

索引扫描的默认阈值是MAX(2048, 0.001 * table_cardinality)。你可以通过index_scan_percentageindex_scan_max_count配置此阈值,或者将这些值设置为零来禁用它们。如有疑问,请使用EXPLAIN ANALYZE来验证你的查询计划是否使用了索引扫描。

索引与内存

DuckDB 通过其缓冲区管理器注册索引内存。但是,这些索引缓冲区尚未进行缓冲区管理。这意味着如果 DuckDB 必须逐出内存,它不会销毁任何索引缓冲区。因此,索引可能会占用 DuckDB 可用内存的很大一部分,这可能会影响内存密集型查询的性能。重新附加(DETACH + ATTACH)包含索引的数据库可以减轻这种影响,因为我们会延迟反序列化索引内存。禁用索引扫描并在更改后重新附加可以进一步降低索引对 DuckDB 可用内存的影响。

索引与打开数据库

索引被序列化到磁盘,并在重新打开数据库时延迟反序列化。使用索引的操作只会加载索引的必需部分。因此,拥有索引不会在打开现有数据库时造成任何速度下降。

最佳实践 我们建议遵循以下准则:

  • 只有在强制执行数据约束必要时,才使用主键、外键或唯一约束。
  • 除非您有高度选择性的查询并且有足够的可用内存,否则不要定义显式索引。
  • 如果您定义 ART 索引,请在将数据批量加载到表之后进行。在加载之前添加索引(无论是显式添加还是通过主键/外键添加)都不利于加载性能