메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항

gooper 2023.03.10 10:07 조회 수 : 646

MariaDB를 metastore DB로 사용하는 경우 msyqldump -uroot -p --all-databases > backup.sql로 전체DB를 백업했다가 "nohup mysql -uroot -p < backup.sql 2>&1 &"로 복구를 수행하면 보통 12시간 정도 시간이 걸린다.

(/etc/mysql.cnf에서 max_allowed_packet = 1000M(default 32M), bulk_insert_buffer_size = 256M, key_buffer_size = 100G(가용 메모리의 60%) 로 설정하고 복구함)


DB가 복구된후 CDP의 CM화면에 보면 Hive에 Metastore canary관련 red alert가 뜨면서 hive METASTORE의 log 파일을 보면 ERROR... Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 보인다.

이때는 다음과 같이 조치해준다. 


hive.NOTIFICATION_SEQUENCE테이블의 next_event_id를 "select max(event_id)+1 from hive.NOTIFICATION_LOG"의 값으로 update시켜준다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
501 룰에 매칭되면 발생되는 엑티베이션 객체에 대한 작업(이전값 혹은 현재값)을 처리하는 클래스 파일 2016.07.21 346
500 커리 변경 이벤트를 처리하기 위한 구현클래스 2016.07.21 597
499 워킹 메모리에 대한 정보를 처리하는 클래스 파일 2016.07.21 443
498 drools에서 drl관련 로그를 기록하기 위한 클래스 파일 2016.07.21 394
497 ServerInfo객체파일 2016.07.21 151
496 drools를 이용한 로그,rule matching등의 테스트 java프로그램 file 2016.07.21 237
495 거침없이 배우는 Drools 책의 샘플소스 file 2016.07.22 1369
494 슬라이딩 윈도우 예제 2016.07.28 190
493 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 2016.07.29 1603
492 hadoop클러스터를 구성하던 서버중 HA를 담당하는 서버의 hostname등이 변경되어 문제가 발생했을때 조치사항 2016.07.29 408
491 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 318
490 bin/start-hbase.sh실행시 org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgraded오류가 발생하면 조치사항 2016.08.01 435
489 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 2016.08.02 275
488 build할때 unmappable character for encoding MS949 에러 발생시 조치사항 2016.08.03 421
487 [SBT] project.sbt에 libraryDependencies에 필요한 jar를 지정했으나 sbt compile할때 클래스를 못찾는 오류가 발생했을때 조치사항 2016.08.03 160
486 [SBT] SBT 사용법 정리(링크) 2016.08.04 959
485 [SBT] assembly시 "[error] deduplicate: different file contents found in the following:"오류 발생시 조치사항 2016.08.04 737
484 gradle을 이용하여 jar파일 생성시 provided속성을 지정할 수 있게 설정하는 방법 2016.08.09 362
483 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 2016.08.09 321
482 [Elephas] Jena Elephas를 이용하여 Spark에서 rdfTriples의 RDD를 만들고 RDD관련 작업하는 샘플소스 2016.08.10 203
쓰기 태그
위로