S3 Parquet 导出 – DuckDB 数据库

搜索快捷键 cmd + k | ctrl + k

文档 / 指南 / 网络与云存储

S3 Parquet 导出

要将 Parquet 文件写入 S3，需要 httpfs 扩展。可以使用 INSTALL SQL 命令进行安装。这只需运行一次。

INSTALL httpfs;

要加载 httpfs 扩展以供使用，请使用 LOAD SQL 命令

LOAD httpfs;

加载 httpfs 扩展后，设置写入数据的凭据。请注意，region 参数应与您要访问的存储桶的区域匹配。

CREATE SECRET (
    TYPE s3,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
    REGION 'us-east-1'
);

提示如果您遇到 I/O 错误（Connection error for HTTP HEAD），请通过 ENDPOINT 's3.your_region.amazonaws.com' 显式配置端点。

或者，使用 aws 扩展自动检索凭据

CREATE SECRET (
    TYPE s3,
    PROVIDER credential_chain
);

在 httpfs 扩展设置完毕且 S3 凭据配置正确后，可以使用以下命令将 Parquet 文件写入 S3

COPY table_name TO 's3://s3-bucket/filename.parquet';

类似地，Google Cloud Storage (GCS) 通过互操作性 API 提供支持。您需要创建 HMAC 密钥并按如下方式提供凭据

CREATE SECRET (
    TYPE gcs,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
);

设置 GCS 凭据后，即可使用以下方式导出

COPY table_name TO 'gs://gcs_bucket/filename.parquet';