我在我的本地Windows机器上运行火花。 我能够成功启动火花shell。
我想编辑驻留在conf /文件夹中的spark-env.sh文件。 将值添加到spark-env.sh文件的正确方法是什么?
例如,如果我想增加值SPARK_EXECUTOR_MEMORYvariables如何做到这一点? 在不同的可用答案之间出现混淆1. SPARK_EXECUTOR_MEMORY =“2G”2.导出
spark-env.sh
是用于Unix的常规bash脚本,所以在Windows安装中它永远不会被拾取。
在Windows上 ,您需要在conf
目录中有一个spark-env.cmd
文件,而是使用以下语法:
set SPARK_EXECUTOR_MEMORY=2G
在Unix上 ,该文件将被称为spark-env.sh
,您将需要预先导出每个属性(例如: export SPARK_EXECUTOR_MEMORY=2G
)
您必须使用导出来添加*.sh
文件中的任何配置。 所以在spark-env.sh
文件中使用下面的例子,
export SPARK_MASTER_IP=192.165.5.1 export SPARK_EXECUTOR_MEMORY=2g #OR export SPARK_EXECUTOR_MEMORY=2G
不需要使用双引号的值。