메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기

총관리자 2016.05.31 18:02 조회 수 : 1819

1. 소스 다운로드

 가. mkdir /tmp/spark

 나. cd /tmp/spark

 나. git clone git://github.com/apache/spark.git


2. scala 2.11용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    : mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package


3. Hadoop2용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    :  mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package


* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
126 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 7557
» Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 1819
124 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 2098
123 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 2558
122 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 2321
121 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 1985
120 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 2525
119 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 2276
118 Spark 1.6.1 설치후 HA구성 2016.05.24 2150
117 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 1448
116 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 3234
115 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 3615
114 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 2016.05.02 2028
113 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 3331
112 Hadoop 완벽 가이드 정리된 링크 2016.04.19 2106
111 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 2016.04.14 1608
110 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 2016.04.11 2117
109 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 1438
108 namenode오류 복구시 사용하는 명령 2016.04.01 1358
107 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 4279
쓰기 태그
위로