运行spark-shell之前编辑spark-env.sh的正确方法是什么?

我在我的本地Windows机器上运行火花。 我能够成功启动火花shell。

我想编辑驻留在conf /文件夹中的spark-env.sh文件。 将值添加到spark-env.sh文件的正确方法是什么?

例如,如果我想增加值SPARK_EXECUTOR_MEMORYvariables如何做到这一点? 在不同的可用答案之间出现混淆1. SPARK_EXECUTOR_MEMORY =“2G”2.导出

spark-env.sh是用于Unix的常规bash脚本,所以在Windows安装中它永远不会被拾取。

Windows上 ,您需要在conf目录中有一个spark-env.cmd文件,而是使用以下语法:

 set SPARK_EXECUTOR_MEMORY=2G 

Unix上 ,该文件将被称为spark-env.sh ,您将需要预先导出每个属性(例如: export SPARK_EXECUTOR_MEMORY=2G

您必须使用导出来添加*.sh文件中的任何配置。 所以在spark-env.sh文件中使用下面的例子,

 export SPARK_MASTER_IP=192.165.5.1 export SPARK_EXECUTOR_MEMORY=2g #OR export SPARK_EXECUTOR_MEMORY=2G 

不需要使用双引号的值。