Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1. 소스 다운로드
가. mkdir /tmp/spark
나. cd /tmp/spark
나. git clone git://github.com/apache/spark.git
2. scala 2.11용으로 만들기
가. scala 버젼 변경
: ./dev/change-scala-version.sh 2.11
나. building
: mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package
3. Hadoop2용으로 만들기
가. scala 버젼 변경
: ./dev/change-scala-version.sh 2.11
나. building
: mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package
* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211
