메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark spark-submit으로 spark application실행하는 다양한 방법

총관리자 2016.05.25 16:21 조회 수 : 1106

# Run application locally on 8 cores
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master local[8]
  /path/to/examples.jar
  100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master yarn
  --deploy-mode cluster   # can be client for client mode
  --executor-memory 20G
  --num-executors 50
  /path/to/examples.jar
  1000
 
# acutal example of running on a YARN cluster
./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
--driver-memory 4g
--executor-memory 2g
--executor-cores 1
--queue thequeue
lib/spark-examples*.jar
10 

# Run a Python application on a Spark standalone cluster
./bin/spark-submit
  --master spark://207.184.161.138:7077
  examples/src/main/python/pi.py
  1000

# Run on a Mesos cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master mesos://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  http://path/to/examples.jar
  1000
 
# Run a spark-shell on a YARN cluster
./bin/spark-shell --master yarn --deploy-mode client

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
» spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 1106
121 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 467
120 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1632
119 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 1243
118 Spark 1.6.1 설치후 HA구성 2016.05.24 1278
117 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 688
116 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 252
115 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 2488
114 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 2016.05.02 1048
113 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 2217
112 Hadoop 완벽 가이드 정리된 링크 2016.04.19 957
111 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 2016.04.14 459
110 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 2016.04.11 997
109 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 661
108 namenode오류 복구시 사용하는 명령 2016.04.01 591
107 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 3451
106 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1260
105 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 496
104 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 800
103 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 2015.12.22 1009
쓰기 태그
위로