vroom id 参数 使用文件名而不是存档名

这就是vroom vignette人的建议:

Reading single files from multiple multi-file zip archives

如果您正在读取包含多个文件的zip文件

read_all_zip <- function(file, ...) {
  filenames <- unzip(file, list = TRUE)$Name
  vroom(purrr::map(filenames, ~ unz(file, .x)), ...)
}

根据您的用例进行调整，这会产生如下结果:

read_all_tar_remote_v1 <- function(file) {
  con <- file(file, open = "rb")
  filenames <- untar(con, list = T)
  df <- purrr::map(filenames,~ vroom_fwf(archive_read(file, file = .x, format='tar'),
                                 col_positions = fwf_widths(rep(4, 611)),
                                 col_types = , cols(.default = col_integer()),
                                 na = "-999", id = "filename", guess_max=2000))
  df
}
read_all_tar_remote_v1(file)

然而，这很慢(而且崩溃的频率比我糟糕的互联网连接要高)，因为如前所述，hereuntar需要读取整个归档文件才能获得文件名.

这does下载整个档案，因为untar需要阅读整个文件才能看到其中的内容.tar文件中没有主目录供untar读取；每个文件都有自己的512字节头块.您不需要将其保存到硬盘来读取目录，但这样做可能同样简单.

因此，我想，你的问题.

避免这种情况的一种方法是使用archive_read作为索引位置.

read_all_tar_remote_v2 <- function(file) {
  df <- purrr::map(1:365,~ vroom_fwf(archive_read(file, file = .x, format='tar'),
                  col_positions = fwf_widths(rep(4, 611)),
                  col_types = , cols(.default = col_integer()),
                  na = "-999", id = "filename", guess_max=2000))
df
}

然而，这并没有给出确切的文件名，但至少有一个索引允许您区分它们.这是对当前实现的唯一改进.

mylist <- read_all_tar_remote_v2(file)
mylist[[1]]$filename %>% unique
[1] "archive_read(ftp://opendata.dwd.de/climate_environment/CDC/grids_germany/daily/regnie/ra2021m.tar)[1]"

由于在读取之前您可能不知道文件的数量，因此您可能希望在函数中包含错误管理.

read_all_tar_remote_v3 <- function(file, maxfiles = 10000) {
  mylist <- list()
  for (i in 1:maxfiles) {
    print(paste('reading file', i,'/', maxfiles))
   #ERROR HANDLING
   possibleError <- tryCatch({
     mydf <- vroom_fwf(archive_read(file, file = i, format='tar'),
                                           col_positions = fwf_widths(rep(4, 611)),
                                           col_types = , cols(.default = col_integer()),
                                           na = "-999", id = "filename", guess_max=2000)
     mylist[[i]] <- mydf
     },
     error=function(e) e
   )
   
   if(inherits(possibleError, "error")){
     break
   } 
  }
   return(mylist)
}

这比你目前的方法更快还是更好？我让你决定，但我不会这么说.

我会继续提取单个文件，因为在没有完整内容的情况下读取名称似乎是tar种格式的限制.