메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항

gooper 2023.03.10 10:07 조회 수 : 4775

MariaDB를 metastore DB로 사용하는 경우 msyqldump -uroot -p --all-databases > backup.sql로 전체DB를 백업했다가 "nohup mysql -uroot -p < backup.sql 2>&1 &"로 복구를 수행하면 보통 12시간 정도 시간이 걸린다.

(/etc/mysql.cnf에서 max_allowed_packet = 1000M(default 32M), bulk_insert_buffer_size = 256M, key_buffer_size = 100G(가용 메모리의 60%) 로 설정하고 복구함)


DB가 복구된후 CDP의 CM화면에 보면 Hive에 Metastore canary관련 red alert가 뜨면서 hive METASTORE의 log 파일을 보면 ERROR... Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 보인다.

이때는 다음과 같이 조치해준다. 


hive.NOTIFICATION_SEQUENCE테이블의 next_event_id를 "select max(event_id)+1 from hive.NOTIFICATION_LOG"의 값으로 update시켜준다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
510 kudu hms check 사용법(예시) 2021.10.22 4396
509 [Solr in Cloudera]Solr Data Directory변경 방법/절차 2023.04.21 4393
508 Cloudera의 CMS각 컴포넌트의 역할 2020.02.10 4389
507 lagom-linux용 build.sbt파일 내용 2017.10.12 4385
506 mongodb aggregation query를 Java code로 변환한 샘플 2016.12.15 4382
505 [Hadoop Encryption] Encryption Zone 생성/설정시 User:hadoop not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 발생 조치 사항 2023.06.28 4377
504 [HDFS]Encryption Zone에 생성된 테이블 조회시 Failed to open HDFS file hdfs://nameservice1/tmp/zone1/sec_test_file.txt Error(255): Unknown error 255 Root cause: AuthorizationException: User:impala not allowd to do 'DECRYPT_EEK' on 'testkey' 2023.06.29 4373
503 Kafka Offset Monitor로 kafka 상태 모니터링 하기 file 2016.11.08 4373
502 RHEL 7.4에 zeppelin 0.7.4 설치 2018.07.31 4370
501 scala application 샘플소스(SparkSession이용) 2018.03.07 4364
500 통계자료 구할수 있는 곳 2014.04.16 4361
499 동일서버에서 LA와 LC동시에 기동하여 테스트 2014.04.01 4359
498 [TLS]TLS용 사설 인증서 변경 혹은 신규 지정시 No trusted certificate found 오류 발생시 확인및 조치사항 2022.03.15 4355
497 [Magento]php7에 Composer를 이용하여 Magento 2.1.3 설치 file 2017.01.30 4348
496 centsOS vsftpd설치하기 2013.12.17 4348
495 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 2015.12.01 4345
494 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 4345
493 커리 변경 이벤트를 처리하기 위한 구현클래스 2016.07.21 4344
492 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 2016.04.11 4343
491 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified 2023.02.02 4339
쓰기 태그
위로