spark cluster

spark job을 worker node에 전달한다.

spark job 은 spark이 제공하는 transformer, actor 등의 함수를 통해 

클러스터내의 자원을 연산하는 task 를 칭한다.

main내의 일반 연산은 driver가 수행한다.

spark job이 없는 경우 driver program을 수행하는 master만 자원 사용률이 높아진다.