메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark spark-submit으로 spark application실행하는 다양한 방법

총관리자 2016.05.25 16:21 조회 수 : 392

# Run application locally on 8 cores
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master local[8]
  /path/to/examples.jar
  100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master yarn
  --deploy-mode cluster   # can be client for client mode
  --executor-memory 20G
  --num-executors 50
  /path/to/examples.jar
  1000
 
# acutal example of running on a YARN cluster
./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
--driver-memory 4g
--executor-memory 2g
--executor-cores 1
--queue thequeue
lib/spark-examples*.jar
10 

# Run a Python application on a Spark standalone cluster
./bin/spark-submit
  --master spark://207.184.161.138:7077
  examples/src/main/python/pi.py
  1000

# Run on a Mesos cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master mesos://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  http://path/to/examples.jar
  1000
 
# Run a spark-shell on a YARN cluster
./bin/spark-shell --master yarn --deploy-mode client

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
43 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 231
42 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 857
41 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 1256
40 impala 설치/설정 2016.06.03 1169
39 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 5303
38 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 548
37 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 617
» spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 392
35 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 196
34 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1143
33 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 870
32 Spark 1.6.1 설치후 HA구성 2016.05.24 742
31 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 635
30 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 2071
29 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 270
28 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 308
27 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 2015.06.17 705
26 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 1986
25 Permission denied: user=hadoop, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx--- 오류해결방법 2015.05.17 490
24 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 2015.04.30 634
쓰기 태그
위로