Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
1. 소스 다운로드
가. mkdir /tmp/spark
나. cd /tmp/spark
나. git clone git://github.com/apache/spark.git
2. scala 2.11용으로 만들기
가. scala 버젼 변경
: ./dev/change-scala-version.sh 2.11
나. building
: mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package
3. Hadoop2용으로 만들기
가. scala 버젼 변경
: ./dev/change-scala-version.sh 2.11
나. building
: mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package
* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211