1. 리눅스에 스파크 설치 및 설정하기.

리눅스에 스파크 설치하기.

먼저 spark.apache.org 에서 Pre-built for haodop2.6(spark-1.5.2-bin-hadoop2.6.tgz)을 받습니다. 

spark 폴더를 만든 후 tar 명령어를 토하여 압축을 풉니다.

압축이 잘 풀렸는지 확인을 합니다.

설정하기.

yarn환경에서 스파크를 이용하기 위해선 /etc/profile 에서 하둡의 경로를 설정해 줍니다.

export SPARK_YARN_USER_ENV="CLASSPATH=경로"

*MAVEN 설치

wget http://apache.mirror.cdnetworks.com/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz

(=> maven binary 다운로드)

# tar xvfz apache-maven-3.0.5-bin.tar.gz

# mv apache-maven-3.0.5 /usr/local

# cd /usr/local

# ln -sf apache-maven-3.0.5 maven

# cd /root

# vi .bash_profile

export M2_HOME=/usr/local/maven

export PATH=${M2_HOME}/bin:${PATH}

# . .bash_profile

# /etc/profile에 똑같이 추가.

# source /etc/profile

# mvn