以下是处理 Parquet 文件时的一些技巧合集。

读取 Parquet 文件的技巧

当加载具有不同模式的文件时，使用 union_by_name

可以使用 union_by_name 选项来统一具有不同或缺失列的文件的模式。对于缺少某些列的文件，将填充 NULL 值。

SELECT *
FROM read_parquet('flights*.parquet', union_by_name = true);

写入 Parquet 文件的技巧

读取时使用 glob 模式 或 Hive 分区结构是透明处理多个文件的良好方法。

启用 PER_THREAD_OUTPUT

如果最终的 Parquet 文件数量不重要，那么每个线程写入一个文件可以显著提高性能。

COPY
    (FROM generate_series(10_000_000))
    TO 'test.parquet'
    (FORMAT parquet, PER_THREAD_OUTPUT);

选择 ROW_GROUP_SIZE

参数 ROW_GROUP_SIZE 指定了 Parquet 行组中的最小行数，最小值为 DuckDB 的向量大小 2,048，默认值为 122,880。Parquet 行组是行的分区，由数据集中每列的列块组成。

压缩算法仅按行组应用，因此行组越大，压缩数据的机会越多。DuckDB 甚至可以在同一个文件内并行读取 Parquet 行组，并使用谓词下推 (predicate pushdown) 来只扫描其元数据范围与查询的 WHERE 子句匹配的行组。然而，读取每个组中的元数据会产生一些开销。一个好的方法是确保在每个文件内，行组的总数至少与用于查询该文件的 CPU 线程数一样多。超过线程数的更多行组会提高高选择性查询的速度，但会减慢必须扫描整个文件的查询（如聚合操作）。

要将查询写入具有不同行组大小的 Parquet 文件，请运行

COPY
    (FROM generate_series(100_000))
    TO 'row-groups.parquet'
    (FORMAT parquet, ROW_GROUP_SIZE 100_000);

ROW_GROUPS_PER_FILE 选项

如果当前 Parquet 文件具有指定数量的行组，参数 ROW_GROUPS_PER_FILE 将创建一个新的 Parquet 文件。

COPY
    (FROM generate_series(100_000))
    TO 'output-directory'
    (FORMAT parquet, ROW_GROUP_SIZE 20_000, ROW_GROUPS_PER_FILE 2);

如果多个线程处于活动状态，文件中的行组数量可能会略微超过指定数量，以限制锁定的量——这与 FILE_SIZE_BYTES 的行为类似。然而，如果设置了 PER_THREAD_OUTPUT，则每个文件只有一个线程写入，并且它会再次变得准确。

有关更多技巧，请参阅“文件格式”性能指南。