我正在使用RStudio Cloud,我想使用sparklyr软件包连接到Spark.我试过一个本地大师和一个yarn大师.代码如下.

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
sc <- spark_connect(master = "yarn")
# Error in system2(file.path(spark_home, "bin", "spark-submit"), "--version", : error in running command

两个都不管用.我不知道如何进一步设置Spark环境.任何帮助都将不胜感激.

推荐答案

这可能是Spark版本的问题.

在RStudio Cloud上的一个新项目中,这对我来说很好:

install.packages("sparklyr")
library(sparklyr)
spark_install(version = "3.0.0")
sc <- spark_connect(master = "local")

enter image description here

R相关问答推荐

高质量地将R格式的图表从Word中输出

使用sensemakr和fixest feols模型(R)

R中具有gggplot 2的Likert图,具有不同的排名水平和显示百分比

MCMC和零事件二元逻辑回归

保存包含循环和ifelse的函数的输出

R Highcharts与两个位置关联的注释

在R中替换函数中的特定符号

在"gt"表中添加第二个"groupname_col",而不连接列值

如何根据嵌套元素的名称高效而优雅地确定它属于哪个列表?

如何得到每四个元素向量R?

在嵌套列表中查找元素路径的最佳方法

您是否可以将组添加到堆叠的柱状图

有没有可能用shiny 的书签恢复手风琴面板?

创建列并对大型数据集中的特定条件进行成对比较的更高效程序

R -基线图-图形周围的阴影区域

如何根据未知数的多列排除重复行

数据集上的R循环和存储模型系数

如何在R中创建这些列?

组合名称具有模式的列表的元素

R,将组ID分配给另一个观测ID变量中的值的组合