메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션

총관리자 2016.10.28 16:17 조회 수 : 2118

0. VisualVM 설치/설정
https://www.gooper.com/ss/index.php?mid=bigdata&category=2813&document_srl=3236 를 참조한다.

1. JmxSink를 활성화 시켜준다. (conf/metrics.properties.template를 metrics.properties로 복사해서 수정해준다)
가. *.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink의 주석제거
## Examples
# Enable JmxSink for all instances by class name
*.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink

나. master.source.jvm.class, worker.source.jvm.class, driver.source.jvm.class, executor.source.jvm.class의 주석제거
# Enable JvmSource for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

다. sbin/stop-all.sh하고 다시 start-all.sh하여 수정사항을 반영한다.

2. spark-submit실행시 아래의 옵션을 설정하고 실행시켜야 VisualVM에서 모니터링이 가능하다.
nohup $HOME/spark/bin/spark-submit
--master spark://sda1:7077,sda2:7077
--conf "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote
-Djsse.enableSNIExtension=false
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote=true
-Dcom.sun.management.jmxremote.port=9981"
--class com.gooper.icbms.sda.kafka.onem2m.AvroOneM2MDataSubscribe
--jars sda-client-2.0.jar sda-client-2.0.jar  
2>&1 < /dev/null &
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
41 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 5028
40 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 2865
» VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 2118
38 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 2050
37 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 2018.01.16 1167
36 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1132
35 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 853
34 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 2016.10.17 741
33 Spark 1.6.1 설치후 HA구성 2016.05.24 724
32 Apache Spark와 Drools를 이용한 CEP구현 테스트 2016.07.15 699
31 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 698
30 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 2018.02.01 631
29 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 625
28 Scala에서 countByWindow를 이용하기(예제) 2018.03.08 612
27 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 610
26 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 575
25 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 2017.07.26 566
24 It is indirectly referenced from required .class files 오류 발생시 조치방법 2017.03.09 563
23 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 559
22 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 2017.04.19 508
쓰기 태그
위로