메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


# Run application locally on 8 cores
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master local[8]
  /path/to/examples.jar
  100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master spark://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  /path/to/examples.jar
  1000

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master yarn
  --deploy-mode cluster   # can be client for client mode
  --executor-memory 20G
  --num-executors 50
  /path/to/examples.jar
  1000
 
# acutal example of running on a YARN cluster
./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
--driver-memory 4g
--executor-memory 2g
--executor-cores 1
--queue thequeue
lib/spark-examples*.jar
10 

# Run a Python application on a Spark standalone cluster
./bin/spark-submit
  --master spark://207.184.161.138:7077
  examples/src/main/python/pi.py
  1000

# Run on a Mesos cluster in cluster deploy mode with supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi
  --master mesos://207.184.161.138:7077
  --deploy-mode cluster
  --supervise
  --executor-memory 20G
  --total-executor-cores 100
  http://path/to/examples.jar
  1000
 
# Run a spark-shell on a YARN cluster
./bin/spark-shell --master yarn --deploy-mode client

번호 제목 날짜 조회 수
290 lagom을 이용한 샘플 경매 프로그램 실행방법 2017.06.20 4259
289 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 4260
288 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 4263
287 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. 2022.05.30 4266
286 AIX 7.1에 Python 2.7.11설치하기 2016.10.06 4268
285 CentOS 7.x에 Jupyter설치 2018.04.18 4272
284 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 2015.06.14 4274
283 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 2018.08.03 4277
282 kerberos연동된 CDH 6.3.4에서 default realm값이 잘못된 상태에서 서비스 기동시 오류 2022.10.14 4277
281 external partition table생성및 data확인 2014.04.03 4278
280 원격지에서 zio공유기를 통해서 노트북의 mysql접속을 허용하는 방법 2014.09.07 4278
279 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 4289
278 solr 데몬이 떠있는 동안 hadoop이 다운되는 경우 Index dir 'hdfs://mycluster/user/../core_node2/data/index/' of core 'gc_shard1_replica2' is already locked라논 오류가 발생하는데 이에 대한 조치사항 2018.01.04 4289
277 [TLS/SSL]Kudu Master 설정하기 2022.05.13 4290
276 znode /hbase recursive하게 지우기 2015.05.06 4291
275 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 2022.11.10 4295
274 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 2023.04.18 4296
273 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 2014.08.24 4297
272 MySQL 다운로드 및 리눅스에서 간단 컴파일 설치 2013.03.08 4309
271 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 2014.05.09 4309
위로