spark/conf/log4j.properties를 보면 default가 log4j.rootCategory=INFO, console, logfile 이다.
그냥 두고 Spark App. 을 돌리면 불필요하게 너무 많은 로그가 출력된다.
그럴 땐 Debug로 해놓고 로그를 본 다음 ROOT를 ERROR로 변경한 다음 필요한 것만 DEBUG로 추가 변경한다.
log4j.rootCategory=ERROR, console, logfile
log4j.logger.org.apache.spark.ml.tuning.CrossValidator=DEBUG