我在try 使用数据.表来加速 Big Data 的处理.由几个较小的合并数据组成的帧(300k x 60).框架.我不熟悉数据.桌子目前的代码如下

library(data.table)
a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10))
b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10))
dt = merge(a,b,by=intersect(names(a),names(b)),all=T)
dt$category = sample(letters[1:3],10,replace=T)

我想知道是否有比下面更有效的方法来总结数据.

summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T),
                     d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category]

我真的不想手工输入所有50列的计算结果,而eval(paste(...))列似乎有点笨重.

我看了一下下面的例子,但对于我的需求来说似乎有点复杂.谢谢

how to summarize a data.table across multiple columns

推荐答案

你可以用一个简单的lapply.SD

dt[, lapply(.SD, sum, na.rm=TRUE), by=category ]

   category index        a        b        z         c        d
1:        c    19 51.13289 48.49994 42.50884  9.535588 11.53253
2:        b     9 17.34860 20.35022 10.32514 11.764105 10.53127
3:        a    27 25.91616 31.12624  0.00000 29.197343 31.71285

如果只想对某些列进行汇总,可以添加.SDcols参数

#  note that .SDcols also allows reordering of the columns
dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ] 

   category        a         c        z
1:        c 51.13289  9.535588 42.50884
2:        b 17.34860 11.764105 10.32514
3:        a 25.91616 29.197343  0.00000

当然,这并不局限于sum,你可以使用lapply的任何函数,包括匿名函数.(也就是说,这是一个常规的lapply声明).

最后,不需要使用i=Tj= <..>.我个人认为这会降低代码的可读性,但这只是一种风格偏好.


文档

参见?.SD?data.table及其.SDcols论证,以及小插曲Using .SD for Data Analysis.

也看看data.tableFAQ 2.1.

R相关问答推荐

指定要保留在wrap_plots中的传奇

如何提高以键ID为列的表中键查找的效率?

使用ggcorrplot在相关性矩阵上标注supertitle和index标签

使用sensemakr和fixest feols模型(R)

如何使用shinyChatR包配置聊天机器人

在位置周围设定一个半径并识别该半径内的其他位置

获取一个数据库框架的摘要,该数据库框架将包含一列数据库框架,

pickerInput用于显示一条或多条geom_hline,这些线在图中具有不同 colored颜色

当两个图层映射到相同的美学时,隐藏一个图层的图例值

为什么观察不会被无功值变化触发?

计算具有奇数日期的运行金额

在R中无法读入具有Readxl和lApply的数据集

移除仪表板Quarto中顶盖和车身之间的白色区域

SHINY:使用JS函数应用的CSS样式显示HTML表格

将一个字符串向量调整为与其他字符串向量完全相同的大小

R中时间间隔的大向量与参考时间间隔的相交

如何将宽格式的患者信息数据高效地转换为患者计数的时间序列?

长/纬点继续在堪萨斯-SF结束,整齐的人口普查

使用函数从R中的列中删除标高

如果极点中存在部分匹配,则替换整个字符串