메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용

총관리자 2015.03.31 00:14 조회 수 : 1505

kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용하여 병렬로 수집하는 방법설명


https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
124 Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 2015.05.17 1303
123 secureCRT에서 backspace키가 작동하지 않는 경우 해결방법 2015.05.11 1584
122 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 2015.05.08 1262
121 hbase CustomFilter만들기 (0.98.X이상) 2015.05.08 1126
120 znode /hbase recursive하게 지우기 2015.05.06 1369
119 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 616
118 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 2015.05.05 4080
117 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1370
116 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 2015.04.30 1027
115 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1487
114 Hadoop - 클러스터 세팅및 기동 2015.04.28 942
113 zookeeper 3.4.6 설치(3대) 2015.04.28 1752
112 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 2015.04.27 1169
111 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 19612
110 scan의 startrow, stoprow지정하는 방법 2015.04.08 1224
109 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 2015.04.02 1079
» kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 2015.03.31 1505
107 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 1580
106 [번역] solr 검색 엔진 튜토리얼 2014.10.07 765
105 solr vs elasticsearch 비교2 2014.09.29 1540
쓰기 태그
위로