我试着用POLARS从S3中读取一些拼图文件.
这些文件是由RedShift在启用并行的情况下使用卸载生成的.
这4个文件是:0000_part_00.parquet、0001_part_00.parquet、0002_part_00.parquet、0003_part_00.parquet
当我使用:pl.read_parquet("s3://my_bucket/my_folder/*.parquet")时，它只返回第一个文件(0000_part_00.parquet)->；340行的结果.
奇怪的是，在本地运行相同的命令:pl.read_parquet("*.parquet")将返回所有行->；1239行.
这是正常行为还是我漏掉了什么？
这是正常行为还是我漏掉了什么？
这是正常的and，你一定漏掉了什么.
从文档中:
参数
来源 文件或类似文件对象的路径.如果路径是目录，则 目录将用作分区感知扫描. 如果安装了
fsspec，它将用于打开远程文件.
在您的本地系统中，它将其标识为目录并使用分区感知扫描.对于访问S3，它使用fsspec，并不能真正识别路径中的*.
取而代之的是:
import pyarrow.dataset as ds
import fsspec #or whatever the s3 wrapper is called
s3fs=fsspec.filesystem('s3', connection_string="xxxx")
myds=ds.dataset("s3://my_bucket/my_folder/", filesystem=s3fs)
df = pl.scan_pyarrow_dataset(myds).collect()