S3 Iceberg 导入 – DuckDB 数据库

搜索快捷键 cmd + k | ctrl + k

文档 / 指南 / 网络与云存储

S3 Iceberg 导入

先决条件

要从 S3 加载 Iceberg 文件，需要同时安装 httpfs 和 iceberg 扩展。可以使用 INSTALL SQL 命令进行安装。这些扩展只需安装一次。

INSTALL httpfs;
INSTALL iceberg;

要加载这些扩展以供使用，请使用 LOAD 命令

LOAD httpfs;
LOAD iceberg;

加载扩展后，设置凭据和 S3 区域以读取数据。您可以使用访问密钥和秘密，或者使用令牌。

CREATE SECRET (
    TYPE s3,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
    REGION 'us-east-1'
);

或者，使用 aws 扩展自动检索凭据

CREATE SECRET (
    TYPE s3,
    PROVIDER credential_chain
);

设置好扩展并正确配置 S3 凭据后，可以使用以下命令从 S3 读取 Iceberg 表

SELECT *
FROM iceberg_scan('s3://bucket/iceberg_table_folder/metadata/id.metadata.json');

请注意，您需要直接链接到清单文件。否则您将收到类似这样的错误

IO Error:
Cannot open file "s3://bucket/iceberg_table_folder/metadata/version-hint.text": No such file or directory