메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka Kafka Offset Monitor로 kafka 상태 모니터링 하기

총관리자 2016.11.08 13:32 조회 수 : 663

* 출처 : http://epicdevs.com/22


Kafka는 기본적으로 JMX 인터페이스를 제공하기 때문에 Kafka에서 제공하는 MBean(managed bean)들의 값을 모니터링할 수 있다. 하지만 JMX 툴보다는 Kafka 전용으로 개발된 모니터링 툴을 사용하는 것이 훨씬 간편하고, 중요한 정보들을 좀 더 직관적으로 파악할 수 있기 때문에 이 글에서는 JMX를 통한 모니터링 대신 Kafka Offset Monitor를 사용하여 Kafka의 상태를 모니터링해 보도록 한다.


Kafka Offset Monitor 실행하기

Kafka Offset Monitor 홈페이지에서 jar 파일을 다운 받은 뒤 jar파일이 있는 위치에서 다음의 커맨드를 통해 Kafka Offset Monitor를 실행한다.

java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb 
--zk kafka-test-001.epicdevs.com:2181,kafka-test-002.epicdevs.com:2181,kafka-test-003.epicdevs.com:2181 
--port 8080 --refresh 10.seconds --retain 2.days

nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar 
     com.quantifind.kafka.offsetapp.OffsetGetterWeb 
     --zk gsda1:2181,gsda2:2181,gsda3:2181 
     --port 7080 
     --refresh 10.seconds 
     --retain 2.days 
 &

*데몬확인 : 109714 OffsetGetterWeb --zk gsda1:2181,gsda2:2181,gsda3:2181 --port 7080 --refresh 10.seconds --retain 2.days

웹 브라우저로 http://gsda1:7080에 접속하면 각 topic의 처리 현황, broker와 consumer 현황, Kafka 클러스터 현황 등을 살펴볼 수 있다.


참고자료

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
321 여러 홈페이지를 운영하거나 혹은 서버에 가입한 사용자들에게 홈페이지 계정을 나누어 줄수 있도록 설정/계정 생성방법 2018.01.23 535
320 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 2014.06.03 537
319 servlet-api를 jar형태로 build할때 포함하지 말고 java 설치 위치의 jre/lib/ext에 복사하여 사용하는것이 좋다. 2016.08.10 538
318 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 538
317 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 2015.04.27 541
316 [CDP7.1.7][Replication]Table does not match version in getMetastore(). Table view original text mismatch 2024.01.02 544
315 queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 2016.06.16 549
314 root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) 2015.10.02 550
313 TransmitData() to failed: Network error: Recv() got EOF from remote (error 108) 오류 현상 2019.02.15 551
312 DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 2016.06.17 552
311 [TLS]TLS용 사설 인증서 변경 혹은 신규 지정시 No trusted certificate found 오류 발생시 확인및 조치사항 2022.03.15 552
310 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 554
309 원보드 컴퓨터 비교표 file 2014.08.04 555
308 Cloudera Hadoop and Spark Developer Certification 준비(참고) 2018.05.16 555
307 Namenode Metadata백업하는 방법 2020.02.10 556
306 bash는 PS1 변수를 통해 프롬프트의 모양을 바꿀 수 있다. 2016.03.30 557
305 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) 2022.07.04 557
304 scan의 startrow, stoprow지정하는 방법 2015.04.08 558
303 [oneM2M]Ontologies used for oneM2M 2017.08.02 560
302 [2.7.2] distribute-exclude.sh사용할때 ssh 포트변경에 따른 오류발생시 조치사항 2018.01.02 560
쓰기 태그
위로