如何在R中按列合并多个csv文件而不将它们完全加载到内存中

Appending a column means writing to the middle of a csv file

追加列在columnar data format(如SQL或arrow)中是有意义的.注释中使用SQL的建议很好，here是使用RSQLite的答案，而RSQLite可以做到这一点.

在基于行的格式(如csv)中，追加一列实质上就是写入到纯文本文件的中间.这意味着从(最多)第一行的某个位置加载文件，然后重写该点之后的所有内容.

Append rows to a csv file instead

要编写大型纯文本文件，而无需将全部内容加载到RAM中，最好的方法是每次一行.在您的 case 中，这意味着:

1. 从每个输入文件中一次读取一行.
2. 每行cbind()块，组成一整行.
3. 将该行写出为(在第一行的情况下)新文本文件的第一行，或(对于后续行)附加到现有文本文件的一行.

这将是简单的:

outfile <- "./example/big_out_file.csv"
N_ROWS <- 11
for (i in seq(0, N_ROWS - 1)) {
    line <- do.call(
        cbind,
        lapply(paths, \(f) read.table(f, sep = ",", skip = i, nrows = 1))
    )
    write.table(line, outfile, col.names = FALSE, append = TRUE, sep = ",", row.names = FALSE)
}

关键是将append = TRUE设置为write.table()，以便一次向现有文本文件追加一行(或在不存在的地方创建它).

我在这里将N_ROWS设置为11，因为我们知道输入有10行和一个标题.如果您不知道有多少行，您可以在不将文件读入内存的情况下进行判断，方法是使用fpeek::peek_count_lines()判断第一个块中的行数，即:

N_ROWS  <- fpeek::peek_count_lines(paths[1])

或者，如果你愿意，在this question的答案中还有其他方法.

这种方法的优点是不会一次将any个输入文件加载到内存中，正如您在注释中指出的那样.它一次读取每个输入文件的一行.这意味着有更多的读取操作，因此它将比读取每个文件一次慢得多，但这是权衡.根据您的内存限制，您可以通过一次阅读多行来加快速度.如果这样做，请确保分别读写标题，以避免将以下行强制为character行.

输出

我们可以判断，当读入时，输出与原始矩阵dat相同:

m <- as.matrix(read.csv(outfile))
head(m, 2)
#      X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
# [1,]  1 11 21 31 41 51 61 71 81  91
# [2,]  2 12 22 32 42 52 62 72 82  92
identical(dat, m) 
# [1] TRUE