spark-submit日志级别设置

一. 在 sparkContext 代码中设置

在代码设置的日志级别只能控制 executor 的日志级别，driver 的日志还是照常输出

sparkSession.sparkContext.setLogLevel("WARN")

二. 在 log4j.properties 文件中设置

拷贝 ${SPARK_HOME}/conf/log4j.properties 文件到自己的项目下面，修改 root.logger=WARN,console这部分，然后在 spark-submit 的时候指定文件。

spark-submit \
  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \
  --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \
  --files ${work_dir}/log4j.properties \
  ...