SPARK

    1. 리눅스에 스파크 설치 및 설정하기.

    리눅스에 스파크 설치하기. 먼저 spark.apache.org 에서 Pre-built for haodop2.6(spark-1.5.2-bin-hadoop2.6.tgz)을 받습니다. spark 폴더를 만든 후 tar 명령어를 토하여 압축을 풉니다.압축이 잘 풀렸는지 확인을 합니다. 설정하기.yarn환경에서 스파크를 이용하기 위해선 /etc/profile 에서 하둡의 경로를 설정해 줍니다. export SPARK_YARN_USER_ENV="CLASSPATH=경로" *MAVEN 설치wget http://apache.mirror.cdnetworks.com/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz(=> maven binary 다운로드)# tar xvf..