- 安装
- 文档
- 入门
- 连接
- 数据导入
- 客户端 API
- 概览
- ADBC
- C
- C++
- CLI
- Dart
- Go
- Java (JDBC)
- Julia
- Node.js (已弃用)
- Node.js (Neo)
- ODBC
- PHP
- Python
- R
- Rust
- Swift
- Wasm
- SQL
- 介绍
- 语句
- 概览
- ANALYZE
- ALTER TABLE
- ALTER VIEW
- ATTACH 和 DETACH
- CALL
- CHECKPOINT
- COMMENT ON
- COPY
- CREATE INDEX
- CREATE MACRO
- CREATE SCHEMA
- CREATE SECRET
- CREATE SEQUENCE
- CREATE TABLE
- CREATE VIEW
- CREATE TYPE
- DELETE
- DESCRIBE
- DROP
- EXPORT 和 IMPORT DATABASE
- INSERT
- LOAD / INSTALL
- PIVOT
- 性能分析
- SELECT
- SET / RESET
- SET VARIABLE
- SUMMARIZE
- 事务管理
- UNPIVOT
- UPDATE
- USE
- VACUUM
- 查询语法
- SELECT
- FROM 和 JOIN
- WHERE
- GROUP BY
- GROUPING SETS
- HAVING
- ORDER BY
- LIMIT 和 OFFSET
- SAMPLE
- 展开嵌套
- WITH
- WINDOW
- QUALIFY
- VALUES
- FILTER
- 集合操作
- 预处理语句
- 数据类型
- 表达式
- 函数
- 概览
- 聚合函数
- 数组函数
- 位字符串函数
- Blob 函数
- 日期格式化函数
- 日期函数
- 日期部分函数
- 枚举函数
- 间隔函数
- Lambda 函数
- 列表函数
- 映射函数
- 嵌套函数
- 数值函数
- 模式匹配
- 正则表达式
- 结构体函数
- 文本函数
- 时间函数
- 时间戳函数
- 带时区时间戳函数
- 联合函数
- 实用函数
- 窗口函数
- 约束
- 索引
- 元查询
- DuckDB 的 SQL 方言
- 示例
- 配置
- 扩展
- 核心扩展
- 概览
- 自动补全
- Avro
- AWS
- Azure
- Delta
- DuckLake
- 编码
- Excel
- 全文搜索
- httpfs (HTTP 和 S3)
- Iceberg
- ICU
- inet
- jemalloc
- MySQL
- PostgreSQL
- 空间
- SQLite
- TPC-DS
- TPC-H
- UI
- VSS
- 指南
- 概览
- 数据查看器
- 数据库集成
- 文件格式
- 概览
- CSV 导入
- CSV 导出
- 直接读取文件
- Excel 导入
- Excel 导出
- JSON 导入
- JSON 导出
- Parquet 导入
- Parquet 导出
- 查询 Parquet 文件
- 使用 file: 协议访问文件
- 网络和云存储
- 概览
- HTTP Parquet 导入
- S3 Parquet 导入
- S3 Parquet 导出
- S3 Iceberg 导入
- S3 Express One
- GCS 导入
- Cloudflare R2 导入
- 通过 HTTPS / S3 使用 DuckDB
- Fastly 对象存储导入
- 元查询
- ODBC
- 性能
- Python
- 安装
- 执行 SQL
- Jupyter Notebooks
- marimo Notebooks
- Pandas 上的 SQL
- 从 Pandas 导入
- 导出到 Pandas
- 从 Numpy 导入
- 导出到 Numpy
- Arrow 上的 SQL
- 从 Arrow 导入
- 导出到 Arrow
- Pandas 上的关系型 API
- 多个 Python 线程
- 与 Ibis 集成
- 与 Polars 集成
- 使用 fsspec 文件系统
- SQL 编辑器
- SQL 功能
- 代码片段
- 故障排除
- 术语表
- 离线浏览
- 操作手册
- 开发
- 内部结构
- 为什么选择 DuckDB
- 行为准则
- 发布日历
- 路线图
- 站点地图
- 在线演示
DuckDB 可以同时读取多种类型(CSV、Parquet、JSON 文件)的文件,可以通过 glob 语法或提供文件列表的方式进行读取。请参阅合并模式页面,了解读取不同模式文件的技巧。
CSV
读取文件夹dir
中所有以.csv
结尾的文件
SELECT *
FROM 'dir/*.csv';
读取所有以.csv
结尾,且位于两级子目录深度的文件
SELECT *
FROM '*/*/*.csv';
读取文件夹dir
中任何深度,所有以.csv
结尾的文件
SELECT *
FROM 'dir/**/*.csv';
读取 CSV 文件flights1.csv
和flights2.csv
SELECT *
FROM read_csv(['flights1.csv', 'flights2.csv']);
读取 CSV 文件flights1.csv
和flights2.csv
,按名称统一模式并输出一个filename
列
SELECT *
FROM read_csv(['flights1.csv', 'flights2.csv'], union_by_name = true, filename = true);
Parquet
读取所有匹配 glob 模式的文件
SELECT *
FROM 'test/*.parquet';
读取三个 Parquet 文件并将它们视为一个单独的表
SELECT *
FROM read_parquet(['file1.parquet', 'file2.parquet', 'file3.parquet']);
从两个特定文件夹中读取所有 Parquet 文件
SELECT *
FROM read_parquet(['folder1/*.parquet', 'folder2/*.parquet']);
读取所有在任何深度匹配 glob 模式的 Parquet 文件
SELECT *
FROM read_parquet('dir/**/*.parquet');
多文件读取与 Glob
DuckDB 还可以读取一系列 Parquet 文件,并将它们视为一个单独的表。请注意,这仅在 Parquet 文件具有相同模式时才有效。您可以使用列表参数、glob 模式匹配语法或两者的组合来指定要读取的 Parquet 文件。
列表参数
read_parquet
函数可以接受文件名列表作为输入参数。
读取三个 Parquet 文件并将它们视为一个单独的表
SELECT *
FROM read_parquet(['file1.parquet', 'file2.parquet', 'file3.parquet']);
Glob 语法
输入到read_parquet
函数的文件名可以是精确文件名,也可以使用 glob 语法读取匹配模式的多个文件。
通配符 | 描述 |
---|---|
* |
匹配任意数量的任意字符(包括零个) |
** |
匹配任意数量的子目录(包括零个) |
? |
匹配任意单个字符 |
[abc] |
匹配括号中给定的一个字符 |
[a-z] |
匹配括号中给定范围的一个字符 |
请注意,由于 HTTP 编码问题,glob 模式中的?
通配符不支持通过 S3 读取。
这是一个示例,它读取文件夹test
中所有以.parquet
结尾的文件
读取所有匹配 glob 模式的文件
SELECT *
FROM read_parquet('test/*.parquet');
Glob 列表
glob 语法和列表输入参数可以结合使用,以扫描符合多个模式之一的文件。
从两个特定文件夹中读取所有 Parquet 文件。
SELECT *
FROM read_parquet(['folder1/*.parquet', 'folder2/*.parquet']);
DuckDB 可以同时读取多个 CSV 文件,可以通过 glob 语法或提供文件列表的方式进行读取。
文件名
filename
参数可用于向结果中添加一个额外的filename
列,该列指示每行来自哪个文件。例如
SELECT *
FROM read_csv(['flights1.csv', 'flights2.csv'], union_by_name = true, filename = true);
航班日期 | 出发城市名称 | 目的城市名称 | 唯一承运人 | 文件名 |
---|---|---|---|---|
1988-01-01 | New York, NY | Los Angeles, CA | NULL | flights1.csv |
1988-01-02 | New York, NY | Los Angeles, CA | NULL | flights1.csv |
1988-01-03 | New York, NY | Los Angeles, CA | AA | flights2.csv |
用于查找文件名的 Glob 函数
glob 模式匹配语法也可以用于使用glob
表函数搜索文件名。它接受一个参数:要搜索的路径(可能包含 glob 模式)。
在当前目录中搜索所有文件。
SELECT *
FROM glob('*');
文件 |
---|
test.csv |
test.json |
test.parquet |
test2.csv |
test2.parquet |
todos.json |