在Windows 10中设置星火

任何人都可以build议我一个很好的教程,在我的机器远程访问其中安装了hadoop的其他机器设置火花。

你需要的是一个客户端设置。 您计划连接的hadoop发行版可能在其文档中有一个客户端设置。 像MapR有Mapr客户端。

一旦到位,按照这些设置火花,

如何在Windows上设置Spark?

在Windows上运行apache Spark

http://www.ics.uci.edu/~shantas/Install_Spark_on_Windows10.pdf

让我知道这是否有帮助。 干杯。

我建议你在Windows上使用IntelliJ IDEA开发Spark。 创建一个SBT项目,你可以复制构建文件上的下一个代码,它将为你下载所有的依赖关系。

version := "1.0" scalaVersion := "2.10.6" // grading libraries libraryDependencies += "junit" % "junit" % "4.10" % "test" libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.6.3", "org.apache.spark" %% "spark-sql" % "1.6.3", "org.apache.spark" %% "spark-hive" % "1.6.3" ) libraryDependencies ++= Seq( "org.apache.commons" % "commons-csv" % "1.4", "joda-time" % "joda-time" % "2.9.9", "com.univocity" % "univocity-parsers" % "1.5.1" ) libraryDependencies +="com.databricks" %% "spark-csv" % "1.5.0" 

之后创建一个scala对象,并开始开发。 这主要是为了Spark的本地开发。 在读取或写入文件时请注意路径。