메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka Kafka Offset Monitor로 kafka 상태 모니터링 하기

총관리자 2016.11.08 13:32 조회 수 : 1540

* 출처 : http://epicdevs.com/22


Kafka는 기본적으로 JMX 인터페이스를 제공하기 때문에 Kafka에서 제공하는 MBean(managed bean)들의 값을 모니터링할 수 있다. 하지만 JMX 툴보다는 Kafka 전용으로 개발된 모니터링 툴을 사용하는 것이 훨씬 간편하고, 중요한 정보들을 좀 더 직관적으로 파악할 수 있기 때문에 이 글에서는 JMX를 통한 모니터링 대신 Kafka Offset Monitor를 사용하여 Kafka의 상태를 모니터링해 보도록 한다.


Kafka Offset Monitor 실행하기

Kafka Offset Monitor 홈페이지에서 jar 파일을 다운 받은 뒤 jar파일이 있는 위치에서 다음의 커맨드를 통해 Kafka Offset Monitor를 실행한다.

java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb 
--zk kafka-test-001.epicdevs.com:2181,kafka-test-002.epicdevs.com:2181,kafka-test-003.epicdevs.com:2181 
--port 8080 --refresh 10.seconds --retain 2.days

nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar 
     com.quantifind.kafka.offsetapp.OffsetGetterWeb 
     --zk gsda1:2181,gsda2:2181,gsda3:2181 
     --port 7080 
     --refresh 10.seconds 
     --retain 2.days 
 &

*데몬확인 : 109714 OffsetGetterWeb --zk gsda1:2181,gsda2:2181,gsda3:2181 --port 7080 --refresh 10.seconds --retain 2.days

웹 브라우저로 http://gsda1:7080에 접속하면 각 topic의 처리 현황, broker와 consumer 현황, Kafka 클러스터 현황 등을 살펴볼 수 있다.


참고자료

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
182 It is indirectly referenced from required .class files 오류 발생시 조치방법 2017.03.09 958
181 spark2.0.0에서 hive 2.0.1 table을 읽어 출력하는 예제 소스(HiveContext, SparkSession, SQLContext) 2017.03.09 384
180 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 874
179 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 875
178 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 2017.02.03 926
177 테이블의 row수를 빠르게 카운트 하는 방법 2017.01.26 265
176 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 2017.01.25 496
175 [JSON 파싱]mongodb의 document를 GSON을 이용하여 parsing할때 ObjectId값에서 오류 발생시 조치방법 2017.01.18 1026
174 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 2017.01.12 573
173 new Gson().toJson(new ObjectId())을 사용하면 값이 다르게 나오는 경우가 있음 2016.12.23 938
172 like검색한 결과를 기준으로 집계를 수행하는 java 소스 2016.12.19 890
171 MongoDB에 있는 특정컬럼의 값을 casting(string->integer)하여 update하기 java 소스 2016.12.19 1101
170 mongodb aggregation query를 Java code로 변환한 샘플 2016.12.15 1345
169 ResultSet에서 데이타를 List<Map<String,String>>형태로 만들어서 리턴하는 소스(Collections.sort를 이용한 정렬 가능) 2016.12.15 1221
168 hbase startrow와 endrow를 지정하여 검색하기 샘플 2016.12.07 263
167 Mountable HDFS on CentOS 6.x(hadoop 2.7.2의 nfs기능을 이용) 2016.11.24 885
166 spark notebook 0.7.0설치및 설정 2016.11.14 848
165 참고할만한 spark예제를 설명하는 사이트 2016.11.11 605
» Kafka Offset Monitor로 kafka 상태 모니터링 하기 file 2016.11.08 1540
163 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 285
쓰기 태그
위로