메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용

총관리자 2015.03.31 00:14 조회 수 : 1414

kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용하여 병렬로 수집하는 방법설명


https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
122 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 2015.05.08 1200
121 hbase CustomFilter만들기 (0.98.X이상) 2015.05.08 1053
120 znode /hbase recursive하게 지우기 2015.05.06 856
119 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 600
118 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 2015.05.05 3906
117 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1362
116 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 2015.04.30 982
115 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1466
114 Hadoop - 클러스터 세팅및 기동 2015.04.28 941
113 zookeeper 3.4.6 설치(3대) 2015.04.28 1360
112 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 2015.04.27 1145
111 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 19506
110 scan의 startrow, stoprow지정하는 방법 2015.04.08 1147
109 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 2015.04.02 1049
» kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 2015.03.31 1414
107 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 1137
106 [번역] solr 검색 엔진 튜토리얼 2014.10.07 757
105 solr vs elasticsearch 비교2 2014.09.29 1536
104 solr설치및 적용관련 file 2014.09.27 2262
103 solr에서 한글사용시 주의점 2014.09.26 827
쓰기 태그
위로