메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka 운영중인 상태에서 kafka topic삭제하고 재생성하여 처리되지 않은 메세지 모두 삭제하기

총관리자 2016.10.24 11:06 조회 수 : 235

1. kafka broker의 server.properties파일에 다음 옵션을 설정하고 broker를 재기동한다.
delete.topic.enable=true

2. 다음의 명령으로 원하는 topic(예, test)을 삭제한다.
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

3. topic을 재생성한다.
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test

4. topic을 지우고 재생성한 상태에서 consumer프로그램을 돌리면 아래와 같은 오류가 발생하면서 재설정된다.

------오류내용-------------
[2016-10-24 10:43:12,735] [utils.Logging$class] [error(#97)] [ERROR] [ConsumerFetcherThread-AvroOneM2MDataSubscribe_sda1-1477273392365-4e4cbb22-0-1], Current offset 109883 for partition [COL_ONEM2M,1] out of range; r
eset offset to 0
[2016-10-24 10:43:12,735] [utils.Logging$class] [error(#97)] [ERROR] [ConsumerFetcherThread-AvroOneM2MDataSubscribe_sda1-1477273392365-4e4cbb22-0-3], Current offset 127067 for partition [COL_ONEM2M,0] out of range; r
eset offset to 0
[2016-10-24 10:43:12,735] [utils.Logging$class] [error(#97)] [ERROR] [ConsumerFetcherThread-AvroOneM2MDataSubscribe_sda1-1477273392365-4e4cbb22-0-2], Current offset 116344 for partition [COL_ONEM2M,2] out of range; r
eset offset to 0
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
161 동일서버에서 LA와 LC동시에 기동하여 테스트 2014.04.01 1048
160 hadoop 기반 문서 검색 2014.09.25 1049
159 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 1059
158 mybatis와 spring을 org.apache.commons.dbcp2.BasicDataSource의 DataSource로 연동할때 DB설정(참고) 2016.10.31 1074
157 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 1081
156 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 2014.07.17 1081
155 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 1085
154 [Magento]php7에 Composer를 이용하여 Magento 2.1.3 설치 file 2017.01.30 1097
153 dual table만들기 2014.05.16 1111
152 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 1113
151 Impala의 Queries탭에서 여러조건으로 쿼리 찾기 2018.05.09 1116
150 unique한 값 생성 2014.04.25 1125
149 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 2014.05.20 1126
148 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 2018.09.14 1126
147 Flume과 Kafka를 사용한 초당 100만개 로그 수집 테스트 file 2016.10.31 1127
146 Building a Cluster docs 2014.04.22 1129
145 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1134
144 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 2018.05.28 1147
143 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 1158
142 impala 설치/설정 2016.06.03 1163
쓰기 태그
위로