메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기

총관리자 2016.05.31 18:02 조회 수 : 1788

1. 소스 다운로드

 가. mkdir /tmp/spark

 나. cd /tmp/spark

 나. git clone git://github.com/apache/spark.git


2. scala 2.11용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    : mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package


3. Hadoop2용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    :  mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package


* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
126 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 7545
» Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 1788
124 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 2053
123 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 2294
122 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 2223
121 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 1708
120 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 2507
119 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 2227
118 Spark 1.6.1 설치후 HA구성 2016.05.24 2117
117 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 1438
116 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 3048
115 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 3504
114 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 2016.05.02 2006
113 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 3185
112 Hadoop 완벽 가이드 정리된 링크 2016.04.19 2084
111 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 2016.04.14 1419
110 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 2016.04.11 2105
109 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 1430
108 namenode오류 복구시 사용하는 명령 2016.04.01 1351
107 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 4260
쓰기 태그
위로