메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션

총관리자 2016.10.28 16:17 조회 수 : 2122

0. VisualVM 설치/설정
https://www.gooper.com/ss/index.php?mid=bigdata&category=2813&document_srl=3236 를 참조한다.

1. JmxSink를 활성화 시켜준다. (conf/metrics.properties.template를 metrics.properties로 복사해서 수정해준다)
가. *.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink의 주석제거
## Examples
# Enable JmxSink for all instances by class name
*.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink

나. master.source.jvm.class, worker.source.jvm.class, driver.source.jvm.class, executor.source.jvm.class의 주석제거
# Enable JvmSource for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

다. sbin/stop-all.sh하고 다시 start-all.sh하여 수정사항을 반영한다.

2. spark-submit실행시 아래의 옵션을 설정하고 실행시켜야 VisualVM에서 모니터링이 가능하다.
nohup $HOME/spark/bin/spark-submit
--master spark://sda1:7077,sda2:7077
--conf "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote
-Djsse.enableSNIExtension=false
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote=true
-Dcom.sun.management.jmxremote.port=9981"
--class com.gooper.icbms.sda.kafka.onem2m.AvroOneM2MDataSubscribe
--jars sda-client-2.0.jar sda-client-2.0.jar  
2>&1 < /dev/null &
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
41 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 262
40 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 2054
39 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 627
38 Spark 1.6.1 설치후 HA구성 2016.05.24 731
37 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 859
36 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1133
35 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 165
34 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 387
33 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 615
32 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 504
31 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 226
30 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 580
29 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 2867
28 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 299
27 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 699
26 Apache Spark와 Drools를 이용한 CEP구현 테스트 2016.07.15 709
25 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 317
24 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 2016.09.24 168
23 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 2016.10.17 755
» VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 2122
쓰기 태그
위로