메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. 소스를 다운로드 받는다.

https://github.com/yahoo/kafka-manager/releases


2. 서버에 올리고(kafka-manager-1.3.3.4-src) 압축을 푼다.

kafka-manager>mkdir kafka-manager-1.3.3.4-src

kafka-manager-1.3.3.4-src>unzip kafka-manager-1.3.3.4.zip


3. 설정정보를 수정한다.

  가. vi conf/application.conf

    kafka-manager.zkhosts값을 현재 설정된 zookeeper정보로 변경한다(예, kafka-manager.zkhosts="sda1:2181,sda2:2181,sda3:2181")


4. sbt를 이용한 빌드 수행

  ./sbt clean dist

....

[info] Your package is ready in /home/gooper/kafka-manager/kafka-manager-1.3.3.4/target/universal/kafka-manager-1.3.3.4.zip
[info]
[success] Total time: 412 s, completed 2017. 3. 20 오후 12:25:21
-bash-4.1$


5. sbt를 이용하여 생성된 zip file을 특정폴더(예, /home/gooper/kafka-manager/kafka-manager-1.3.3.4)에 복사/압축을 푼다.  

  가. cp /home/gooper/kafka-manager/kafka-manager-1.3.3.4-src/target/universal/kafka-manager-1.3.3.4.zip /home/gooper/kafka-manager/kafka-manager-1.3.3.4

  나. cd /home/gooper/kafka-manager/kafka-manager-1.3.3.4

  다. unzip kafka-manager-1.3.3.4.zip


6. unzip된 폴더 밑의 bin 폴더 밑에 있는 kafka-manager를 실행한다.(default webport로 9000포트를 사용하는데 hadoop에서 사용하는 포트이므로 아래와 같이 변경하여 사용한다.)

  nohup bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=8889 & 혹은

  nohup bin/kafka-manager -Dhttp.port=1256 & 로 입력하여 kafka-manager데몬을 띄운다.


7. 브라우져에서 sda1:8889를 입력한다.


8. Cluster->Add Cluster를 선택하여 필요한 설정을 한다.

  가. Cluster Name : ICBMS_kafka_manager

  나. Cluster Zookeepr Hosts : sda1:2181,sda2:2181,sda3:2181

  다. Kafka Version(예, 0.9.0.1)을 선택한다.(설치된 kafka버젼을 선택함)

  라. Enable JMX Polling (Set JMX_PORT env variable before starting kafka server를 선택한다.

  마. JMX Auth Username, JMX Auth Password를 입력한다.(필요시)

  바. 체크옵션중 JMX with SSL을 제외하고 나머지는 선택하고 'save'를 누른다.
    Poll consumer information (Not recommended for large # of consumers)
    Filter out inactive consumers
    Enable Logkafka  
    Enable Active OffsetCache (Not recommended for large # of consumers)
    Display Broker and Topic Size (only works after applying this patch)


9. Lag확인

Topic메뉴를 클릭하고 하단 좌측에 보이는 Topic명을 클릭한다. 다음 화면에서 우측의 Consumers consuming from this topic 목록중에서 모니터링이 필요한 Consumer Group명칭을 클릭한다.


* KafkaOffsetMonitor를 사용하다보면 어는 시점에 모니터링 목록이 보이지 않는 문제가 있음. 이때 이 프로그램을 사용해 볼 수도 있음


10. 프로세스 확인(jps -m)

 - ProdServerStart가 있는지 확인한다.


번호 제목 날짜 조회 수
207 Not enough replica available for query at consistency QUORUM가 발생하는 경우 2017.06.21 3814
206 cassandra cluster 문제가 있는 node제거 하기(DN상태의 노드가 있으면 cassandra cluster 전체에 문제가 발생하므로 반드시 제거할것) 2017.06.21 3727
205 lagom을 이용한 샘플 경매 프로그램 실행방법 2017.06.20 4259
204 mysql-server 기동시 Do you already have another mysqld server running on port 오류 발생할때 확인및 조치방법 2017.05.14 5337
203 mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 2017.05.04 19792
202 Mysql DB 생성 및 권한. 특정아이피, 대역에 대한 접근 허용 2017.05.04 4892
201 Hive MetaStore Server기동시 Could not create "increment"/"table" value-generation container SEQUENCE_TABLE since autoCreate flags do not allow it. 오류발생시 조치사항 2017.05.03 3112
200 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 2017.05.03 3088
199 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 3004
198 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 3037
197 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 2998
196 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 3336
195 Cleaning up the staging area file시 'cannot access' 혹은 'Directory is not writable' 발생시 조치사항 2017.05.02 3291
194 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 2017.05.01 4698
193 Ubuntu 16.04 LTS에 4대에 Hadoop 2.8.0설치 2017.05.01 4155
192 Kafka의 API중 Consumer.createJavaConsumerConnector()를 이용하고 다수의 thread를 생성하여 Kafka broker의 topic에 접근하여 데이타를 가져오고 처리하는 예제 소스 2017.04.26 4211
191 Spark에서 KafkaUtils.createStream()를 이용하여 이용하여 kafka topic에 접근하여 객채로 저장된 값을 가져오고 처리하는 예제 소스 2017.04.26 2802
190 Hbase API를 이용하여 scan시 페이징을 고려하여 목록을 가져올때 사용할 수 있는 로직의 예시를 보여줌 2017.04.26 3784
189 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 7743
188 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 2017.04.19 3752
위로