搜索快捷键 cmd + k | ctrl + k
- 安装
- 文档
- 入门
- 连接
- 数据导入与导出
- 湖仓格式
- 客户端 API
- 概览
- 第三方客户端
- ADBC
- C
- C++
- CLI
- Dart
- Go
- Java (JDBC)
- Julia
- Node.js (已弃用)
- Node.js (Neo)
- ODBC
- PHP
- Python
- R
- Rust
- Swift
- Wasm
- SQL
- 介绍
- 语句
- 概览
- ANALYZE
- ALTER TABLE
- ALTER VIEW
- ATTACH 和 DETACH
- CALL
- CHECKPOINT
- COMMENT ON
- COPY
- CREATE INDEX
- CREATE MACRO
- CREATE SCHEMA
- CREATE SECRET
- CREATE SEQUENCE
- CREATE TABLE
- CREATE VIEW
- CREATE TYPE
- DELETE
- DESCRIBE
- DROP
- EXPORT 和 IMPORT DATABASE
- INSERT
- LOAD / INSTALL
- MERGE INTO
- PIVOT
- 性能分析
- SELECT
- SET / RESET
- SET VARIABLE
- SHOW 与 SHOW DATABASES
- SUMMARIZE
- 事务管理
- UNPIVOT
- UPDATE
- USE
- VACUUM
- 查询语法
- SELECT
- FROM 和 JOIN
- WHERE
- GROUP BY
- GROUPING SETS
- HAVING
- ORDER BY
- LIMIT 和 OFFSET
- SAMPLE
- 展开嵌套
- WITH
- WINDOW
- QUALIFY
- VALUES
- FILTER
- 集合操作
- 预处理语句
- 数据类型
- 表达式
- 函数
- 概览
- 聚合函数
- 数组函数
- 位字符串函数
- Blob 函数
- 日期格式化函数
- 日期函数
- 日期部分函数
- 枚举函数
- 间隔函数
- Lambda 函数
- 列表函数
- 映射函数
- 嵌套函数
- 数值函数
- 模式匹配
- 正则表达式
- 结构体函数
- 文本函数
- 时间函数
- 时间戳函数
- 带时区时间戳函数
- 联合函数
- 实用函数
- 窗口函数
- 约束
- 索引
- 元查询
- DuckDB 的 SQL 方言
- 示例
- 配置
- 扩展
- 核心扩展
- 概览
- 自动补全
- Avro
- AWS
- Azure
- Delta
- DuckLake
- 编码
- Excel
- 全文搜索
- httpfs (HTTP 和 S3)
- Iceberg
- ICU
- inet
- jemalloc
- Lance
- MySQL
- PostgreSQL
- 空间
- SQLite
- TPC-DS
- TPC-H
- UI
- Unity Catalog
- Vortex
- VSS
- 指南
- 概览
- 数据查看器
- 数据库集成
- 文件格式
- 概览
- CSV 导入
- CSV 导出
- 直接读取文件
- Excel 导入
- Excel 导出
- JSON 导入
- JSON 导出
- Parquet 导入
- Parquet 导出
- 查询 Parquet 文件
- 使用 file: 协议访问文件
- 网络和云存储
- 概览
- HTTP Parquet 导入
- S3 Parquet 导入
- S3 Parquet 导出
- S3 Iceberg 导入
- S3 Express One
- GCS 导入
- Cloudflare R2 导入
- 通过 HTTPS / S3 使用 DuckDB
- Fastly 对象存储导入
- 元查询
- ODBC
- 性能
- Python
- 安装
- 执行 SQL
- Jupyter Notebooks
- marimo Notebooks
- Pandas 上的 SQL
- 从 Pandas 导入
- 导出到 Pandas
- 从 Numpy 导入
- 导出到 Numpy
- Arrow 上的 SQL
- 从 Arrow 导入
- 导出到 Arrow
- Pandas 上的关系型 API
- 多个 Python 线程
- 与 Ibis 集成
- 与 Polars 集成
- 使用 fsspec 文件系统
- SQL 编辑器
- SQL 功能
- 代码片段
- 故障排除
- 术语表
- 离线浏览
- 操作手册
- 概览
- DuckDB 的占用空间
- 安装 DuckDB
- 日志
- 保护 DuckDB 安全
- 非确定性行为
- 限制
- DuckDB Docker 容器
- 开发
- 内部结构
- 站点地图
- 在线演示
文档 / 核心扩展 / httpfs (HTTP 和 S3)
S3 API 的传统认证方案
在 0.10.0 版本之前,DuckDB 没有密钥管理器 (Secrets manager)。因此,S3 端点的配置和身份验证是通过变量来处理的。本页面记录了 S3 API 的旧版身份验证方案。
警告:本页面描述了一种将密钥存储为 DuckDB 设置的旧方法。这增加了意外泄露密钥的风险(例如,通过打印其值)。因此,请避免使用这些方法来存储密钥。配置和验证 S3 端点的推荐方法是使用密钥 (secrets)。
旧版身份验证方案
为了能够从 S3 读取或写入数据,需要设置正确的区域 (region)
SET s3_region = 'us-east-1';
如果使用非 AWS 的对象存储服务器,可以选择配置端点 (endpoint)
SET s3_endpoint = 'domain.tld:port';
如果端点未启用 SSL,则运行
SET s3_use_ssl = false;
可以使用以下命令在路径样式 (path-style) 和虚拟主机样式 (vhost-style) 的 URL 之间进行切换
SET s3_url_style = 'path';
但是,请注意,这可能还需要更新端点。例如,对于 AWS S3,需要将端点更改为 s3.region.amazonaws.com。
配置好正确的端点和区域后,即可读取公共文件。若要读取私有文件,可以添加身份验证凭据
SET s3_access_key_id = 'aws_access_key_id';
SET s3_secret_access_key = 'aws_secret_access_key';
此外,也支持临时 S3 凭据。它们需要设置额外的会话令牌 (session token)
SET s3_session_token = 'aws_session_token';
aws 扩展允许加载 AWS 凭据。
按请求配置
除了上述全局 S3 配置外,还可以在每次请求的基础上使用特定的配置值。这允许使用多组凭据、区域等。通过将它们作为查询参数包含在 S3 URI 中来使用这些配置。上面列出的所有单个配置值都可以设置为查询参数。例如
SELECT *
FROM 's3://bucket/file.parquet?s3_access_key_id=accessKey&s3_secret_access_key=secretKey';
同时也允许在每个查询中使用多个配置
SELECT *
FROM 's3://bucket/file.parquet?s3_access_key_id=accessKey1&s3_secret_access_key=secretKey1' t1
INNER JOIN 's3://bucket/file.csv?s3_access_key_id=accessKey2&s3_secret_access_key=secretKey2' t2;
配置
S3 上传还有一些额外的配置选项,不过默认值应该足以满足大多数用例。
此外,大多数配置选项也可以通过环境变量进行设置
| DuckDB 设置 | 环境变量 | 注意 |
|---|---|---|
s3_region |
AWS_REGION |
优先级高于 AWS_DEFAULT_REGION |
s3_region |
AWS_DEFAULT_REGION |
|
s3_access_key_id |
AWS_ACCESS_KEY_ID |
|
s3_secret_access_key |
AWS_SECRET_ACCESS_KEY |
|
s3_session_token |
AWS_SESSION_TOKEN |
|
s3_endpoint |
DUCKDB_S3_ENDPOINT |
|
s3_use_ssl |
DUCKDB_S3_USE_SSL |
|
s3_requester_pays |
DUCKDB_S3_REQUESTER_PAYS |