메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP [kudu]테이블 drop이 안되고 timeout이 걸리는 경우 조치 방법

총관리자 2020.06.08 14:18 조회 수 : 575

kudu테이블의 파티션 개수가 너무 많은 경우 메타스토어와의 통신시간이 길어지면서 timeout이 걸리고 파일은 삭제되지 못하는 현상이 발생하는데 임시로 아래와 같이 timeout시간을 조정하여 처리할 수 있다.


* Impala설정

CM -> Impala -> Configuration -> hive.metastore.client.socket.timeout을 확인한다. 이때 Hive Metastore와 mysql 관련 이슈이므로 Impala설정만으로 커버할 수는 없음


* Hive설정

CM -> Hive -> Configuration -> hive.metastore.client.socket.timeout (default 5분 -> 25분)

CM -> Hive -> Configuration -> Service Monitor Client Config Overrides -> hive.metastore.client.socket.timeout (default 1분 -> 25분)

(최대 30분 이내로 설정할것, 쿼리의 응답시간이 1분이 초과된 쿼리는 자동으로 cancel되는데 이 시간을 25분으로 늘려준다)



관련 설정이 적용한후 다시 삭제를 해보면 timeout시간이 늘어나서 오랜 시간이 걸려도 삭제는 가능한다. 

이후 관련 값을 적정한 원래의 값으로 수정하여 적용한다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
461 커리 변경 이벤트를 처리하기 위한 구현클래스 2016.07.21 586
460 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 585
459 TLS/SSl설정시 방법및 참고 사항 2021.10.08 585
458 It is indirectly referenced from required .class files 오류 발생시 조치방법 2017.03.09 584
457 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 2014.08.24 582
456 CDH에서 Sentry 개념및 설정 file 2018.06.21 581
455 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 2017.07.26 581
454 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 580
453 Eclipse실행시 Java was started but returned exit code=1이라는 오류가 발생할때 조치방법 2016.11.07 578
452 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 576
» [kudu]테이블 drop이 안되고 timeout이 걸리는 경우 조치 방법 2020.06.08 575
450 데이타 제공 사이트 링크 2014.08.03 575
449 impala,hive및 hdfs만 접근가능하고 파일을 이용한 테이블생성가능하도록 hue 권한설정설정 2018.09.17 573
448 Impala daemon기동시 "Could not create temporary timezone file"오류 발생시 조치사항 2018.03.29 572
447 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 2022.01.12 570
446 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 2016.05.02 568
445 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 2017.05.03 566
444 [우분투] suppoie 채굴 프로세스 발생시 자동으로 삭제하는 shell프로그램 2018.04.01 565
443 lagom에서 제공하는 초기 생성기능을 이용하여 생성한 프로젝트의 소스 파악 2018.01.16 565
442 Cloudera의 API를 이용하여 impala의 실행되었던 쿼리 확인하는 예시 2018.05.03 563
쓰기 태그
위로