示例

以下示例使用 flights.csv 文件。

从磁盘读取 CSV 文件，自动推断选项

SELECT * FROM 'flights.csv';

使用自定义选项的 read_csv 函数

SELECT *
FROM read_csv('flights.csv',
    delim = '|',
    header = true,
    columns = {
        'FlightDate': 'DATE',
        'UniqueCarrier': 'VARCHAR',
        'OriginCityName': 'VARCHAR',
        'DestCityName': 'VARCHAR'
    });

从 stdin 读取 CSV，自动推断选项

cat flights.csv | duckdb -c "SELECT * FROM read_csv('/dev/stdin')"

将 CSV 文件读取到表中

CREATE TABLE ontime (
    FlightDate DATE,
    UniqueCarrier VARCHAR,
    OriginCityName VARCHAR,
    DestCityName VARCHAR
);
COPY ontime FROM 'flights.csv';

或者，使用 CREATE TABLE .. AS SELECT 语句创建表，而无需手动指定 Schema

CREATE TABLE ontime AS
    SELECT * FROM 'flights.csv';

我们可以使用 FROM 优先语法来省略 SELECT *。

CREATE TABLE ontime AS
    FROM 'flights.csv';

CSV 加载

CSV 加载，即将 CSV 文件导入数据库，是一项非常常见但出乎意料的棘手任务。虽然 CSV 文件表面上看起来很简单，但其中存在许多不一致性，这使得加载它们成为一项挑战。CSV 文件种类繁多，经常损坏，并且没有 Schema。CSV 读取器需要应对所有这些不同的情况。

DuckDB CSV 读取器可以通过使用 CSV sniffer 分析 CSV 文件来自动推断要使用的配置标志。这在大多数情况下都能正常工作，并且应该是首先尝试的选项。在极少数情况下，如果 CSV 读取器无法确定正确的配置，可以手动配置 CSV 读取器以正确解析 CSV 文件。有关更多信息，请参阅自动检测页面。

参数

以下是可以传递给 read_csv 函数的参数。在有意义的情况下，这些参数也可以传递给 COPY 语句。

提示 DuckDB 的 CSV 读取器支持 UTF-8（默认）、UTF-16 和 Latin-1 编码（请参阅 encoding 选项）。要转换不同编码的文件，我们建议使用 iconv 命令行工具。

iconv -f ISO-8859-2 -t UTF-8 input.csv > input-utf-8.csv

auto_type_candidates 详情

auto_type_candidates 选项允许您指定 CSV 读取器在进行列数据类型检测时应考虑的数据类型。使用示例

SELECT * FROM read_csv('csv_file.csv', auto_type_candidates = ['BIGINT', 'DATE']);

auto_type_candidates 选项的默认值为 ['SQLNULL', 'BOOLEAN', 'BIGINT', 'DOUBLE', 'TIME', 'DATE', 'TIMESTAMP', 'VARCHAR']。

CSV 函数

read_csv 自动尝试使用 CSV sniffer 找出 CSV 读取器的正确配置。它还会自动推断列的类型。如果 CSV 文件包含表头，它将使用表头中找到的名称来命名列。否则，列将命名为 column0, column1, column2, ...。一个使用 flights.csv 文件的示例

SELECT * FROM read_csv('flights.csv');

路径可以是相对路径（相对于当前工作目录）或绝对路径。

我们也可以使用 read_csv 创建持久表

CREATE TABLE ontime AS
    SELECT * FROM read_csv('flights.csv');
DESCRIBE ontime;

SELECT * FROM read_csv('flights.csv', sample_size = 20_000);

如果我们明确设置 delim / sep、quote、escape 或 header，我们可以绕过对这些特定参数的自动检测

SELECT * FROM read_csv('flights.csv', header = true);

可以通过提供 glob 或文件列表一次读取多个文件。有关更多信息，请参阅多文件部分。

使用 COPY 语句写入

COPY 语句可用于将数据从 CSV 文件加载到表中。此语句的语法与 PostgreSQL 中使用的语法相同。要使用 COPY 语句加载数据，我们必须首先创建一个具有正确 Schema 的表（该 Schema 与 CSV 文件中列的顺序匹配，并使用适合 CSV 文件中值的类型）。COPY 会自动检测 CSV 的配置选项。

CREATE TABLE ontime (
    flightdate DATE,
    uniquecarrier VARCHAR,
    origincityname VARCHAR,
    destcityname VARCHAR
);
COPY ontime FROM 'flights.csv';
SELECT * FROM ontime;

如果我们想手动指定 CSV 格式，可以使用 COPY 的配置选项来实现。

CREATE TABLE ontime (flightdate DATE, uniquecarrier VARCHAR, origincityname VARCHAR, destcityname VARCHAR);
COPY ontime FROM 'flights.csv' (DELIMITER '|', HEADER);
SELECT * FROM ontime;

读取有问题的 CSV 文件

DuckDB 支持读取错误的 CSV 文件。有关详细信息，请参阅读取有缺陷的 CSV 文件页面。

顺序保留

CSV 读取器遵循 preserve_insertion_order 配置选项以保留插入顺序。当设置为 true（默认值）时，CSV 读取器返回的结果集中的行顺序与从文件读取的相应行的顺序相同。当设置为 false 时，不保证保留顺序。

写入 CSV 文件

DuckDB 可以使用 COPY ... TO 语句写入 CSV 文件。