我在我的本地Windows机器上运行火花。 我能够成功启动火花shell。
我想编辑驻留在conf /文件夹中的spark-env.sh文件。 将值添加到spark-env.sh文件的正确方法是什么？
例如，如果我想增加值SPARK_EXECUTOR_MEMORYvariables如何做到这一点？ 在不同的可用答案之间出现混淆1. SPARK_EXECUTOR_MEMORY =“2G”2.导出
spark-env.sh是用于Unix的常规bash脚本，所以在Windows安装中它永远不会被拾取。
在Windows上 ，您需要在conf目录中有一个spark-env.cmd文件，而是使用以下语法：
set SPARK_EXECUTOR_MEMORY=2G
在Unix上 ，该文件将被称为spark-env.sh ，您将需要预先导出每个属性（例如： export SPARK_EXECUTOR_MEMORY=2G ）
您必须使用导出来添加*.sh文件中的任何配置。 所以在spark-env.sh文件中使用下面的例子，
export SPARK_MASTER_IP=192.165.5.1 export SPARK_EXECUTOR_MEMORY=2g #OR export SPARK_EXECUTOR_MEMORY=2G
不需要使用双引号的值。