无法在RStudio中启动SparkR

经过漫长而艰难的SparkR安装过程,我遇到了SparkR的新问题。

我的设置

R 3.2.0 RStudio 0.98.1103 Rtools 3.3 Spark 1.4.0 Java Version 8 SparkR 1.4.0 Windows 7 SP 1 64 Bit 

现在我尝试在R中使用下面的代码:

 library(devtools) library(SparkR) Sys.setenv(SPARK_MEM="1g") Sys.setenv(SPARK_HOME="C:/spark-1.4.0") sc <- sparkR.init(master="local") 

我收到以下内容:

 JVM is not ready after 10 seconds 

我也试图添加一些系统variables,如火花path或Javapath。

你有什么build议让我解决这个问题。

testing本地主机后,下一步就是在我运行的hadoop集群上开始testing。

Solutions Collecting From Web of "无法在RStudio中启动SparkR"

我认为这是一个现在已经解决的错误。 尝试以下方法,

 > Sys.setenv(SPARK_HOME="C:\\spark-1.4.0") > .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) > library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is fof windows environment. > library(SparkR) > sc=sparkR.init(master="local") 

使用spark-submit命令启动java C:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell

C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6

希望这可以帮助。

我有同样的问题,我的spark-submit.cmd文件也没有从命令行执行。 以下步骤为我工作

转到您的环境变量并在系统变量中选择变量名称PATH。 与其他值一起添加用分号分隔的c:/Windows/System32/ 。 这使得我的spark-submit.cmd从命令行运行,最终从Rstudio运行。

我已经意识到,只有在没有指定所有必需的路径值的情况下,我们才会得到上述问题。 确保在环境变量中指定了所有路径值(R,Rtools)。 例如我的Rtools路径是c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

我希望这有帮助。

那对我没有用。 如果任何人有同样的问题,请尝试给c:/sparkpath/bin/spark-submit.cmd执行权限。

我有完全相同的问题。 我可以在命令行中启动SparkR,但不能在Windows中的RStudio中启动。 这里的解决方案适用于我。

  1. 清理您尝试解决此问题时设置的所有路径。 这包括从窗口控制面板在Windows环境中设置的路径,并使用Sys.unsetenv()取消设置SPARK_HOME。

  2. 通过在RStudio中使用getwd()来查找RStudio的默认工作目录。 然后在这个目录下创建一个.Rprofile文件。 把下面一行放在这个文件中:.libPaths(“C:/Apache/Spark-1.5.1/R/lib”)

  3. 在窗口控制面板 – >系统 – >高级系统设置 – >环境变量中,在您现有的PATH变量的末尾添加“; C:\ Apache \ Spark-1.5.1 \ bin”。

  4. 启动RStudio,如果您键入.libPaths(),则可以看到SparkR库路径已经在库路径中

  5. 使用库(SparkR)来加载SparkR库

  6. SC = sparkR.init(主= “本地”)

我在Spark 1.4.1和1.5.1上都试过,它们都能正常工作。 以上所有建议我希望这能帮助仍然有问题的人。

我有一个类似的问题。 在我的情况下,问题是连字符(' – ')。
通过更改代码:

 sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11-1.4.0")) 

至:

 sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11:1.4.0")) 

为我工作。 你注意到了这个变化吗?

PS:请将jar复制到SPARK_HOME \ lib文件夹中

编辑1:另外,检查你是否配置了你的“HADOOP_HOME”

希望这可以帮助。

以下解决方案将适用于Mac OS。

在安装Hadoop之后是Spark。

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

我也有这个错误,从不同的原因。 引擎盖下,Spark调用

 system2(sparkSubmitBin, combinedArgs, wait = F) 

有很多方法可能出错。 在我的情况下,底层的错误(直到作为一个实验直接调用system2是不可见的)“”UNC路径不支持。“我不得不改变我在R studio的工作目录到一个不是网络共享的一部分,然后它开始工作。