메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark spark-submit으로 spark application실행하는 다양한 방법

총관리자 2016.05.25 16:21 조회 수 : 9573

# Run application locally on 8 cores
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master local[8]
  /path/to/examples.jar
  100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master yarn
  --deploy-mode cluster   # can be client for client mode
  --executor-memory 20G
  --num-executors 50
  /path/to/examples.jar
  1000
 
# acutal example of running on a YARN cluster
./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
--driver-memory 4g
--executor-memory 2g
--executor-cores 1
--queue thequeue
lib/spark-examples*.jar
10 

# Run a Python application on a Spark standalone cluster
./bin/spark-submit
  --master spark://207.184.161.138:7077
  examples/src/main/python/pi.py
  1000

# Run on a Mesos cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master mesos://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  http://path/to/examples.jar
  1000
 
# Run a spark-shell on a YARN cluster
./bin/spark-shell --master yarn --deploy-mode client

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
133 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 10254
132 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 12713
131 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 13941
130 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 8440
129 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 10469
128 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 10737
127 impala 설치/설정 2016.06.03 12747
126 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 14770
125 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 9098
124 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 9539
123 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 13494
» spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 9573
121 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 11936
120 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 9559
119 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 9388
118 Spark 1.6.1 설치후 HA구성 2016.05.24 11518
117 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 7667
116 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 11258
115 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 11227
114 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 2016.05.02 9289
쓰기 태그
위로