spark 에서 Vertica에 접속하여 Query를 수행하려면 Vertica에서 제공하는 두개의 파일이 필요하다.
hpe-spark-connector-8.0.0-0.jar
vertica-jdbc-8.0.0-0.jar
Vertica 의 버전은 7.2.3-5 부터 가능하다.
https://my.vertica.com/docs/8.0.x/HTML/index.htm#Authoring/SparkConnector/InstallationAndDeployment.htm%3FTocPath%3DIntegrating%2520with%2520Apache%2520Spark%7C_____1
build.sbt에는 아래와 같이 넣는다.
"org.clojars.erp12" % "jdbc-vertica" % "7.2.3"
Spark-shell 실행할때는
./bin/spark-shell --jars ../jars/hpe-spark-connector-8.0.0-0.jar, ../jars/vertica-jdbc-8.0.0-0.jar --master local
잘 연동되어 데이터도 잘 가져온다.
Vertica Version은 7.2.3-6 인데 Connector 와 Client의 버전은 8.0.0 이다.
그래도 잘 붙는다.