메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기

총관리자 2016.05.31 18:02 조회 수 : 913

1. 소스 다운로드

 가. mkdir /tmp/spark

 나. cd /tmp/spark

 나. git clone git://github.com/apache/spark.git


2. scala 2.11용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    : mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package


3. Hadoop2용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    :  mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package


* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
142 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 2016.08.02 587
141 bin/start-hbase.sh실행시 org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgraded오류가 발생하면 조치사항 2016.08.01 559
140 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 1255
139 hadoop클러스터를 구성하던 서버중 HA를 담당하는 서버의 hostname등이 변경되어 문제가 발생했을때 조치사항 2016.07.29 468
138 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 2016.07.29 1750
137 Apache Spark와 Drools를 이용한 CEP구현 테스트 2016.07.15 1157
136 org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException 오류시 조치사항 2016.07.14 255
135 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 813
134 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 2016.07.08 1751
133 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 409
132 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 4900
131 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 1649
130 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 655
129 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 930
128 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 1323
127 impala 설치/설정 2016.06.03 1313
126 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 5396
» Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 913
124 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 1129
123 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 698
쓰기 태그
위로