메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP [kudu]테이블 drop이 안되고 timeout이 걸리는 경우 조치 방법

총관리자 2020.06.08 14:18 조회 수 : 579

kudu테이블의 파티션 개수가 너무 많은 경우 메타스토어와의 통신시간이 길어지면서 timeout이 걸리고 파일은 삭제되지 못하는 현상이 발생하는데 임시로 아래와 같이 timeout시간을 조정하여 처리할 수 있다.


* Impala설정

CM -> Impala -> Configuration -> hive.metastore.client.socket.timeout을 확인한다. 이때 Hive Metastore와 mysql 관련 이슈이므로 Impala설정만으로 커버할 수는 없음


* Hive설정

CM -> Hive -> Configuration -> hive.metastore.client.socket.timeout (default 5분 -> 25분)

CM -> Hive -> Configuration -> Service Monitor Client Config Overrides -> hive.metastore.client.socket.timeout (default 1분 -> 25분)

(최대 30분 이내로 설정할것, 쿼리의 응답시간이 1분이 초과된 쿼리는 자동으로 cancel되는데 이 시간을 25분으로 늘려준다)



관련 설정이 적용한후 다시 삭제를 해보면 timeout시간이 늘어나서 오랜 시간이 걸려도 삭제는 가능한다. 

이후 관련 값을 적정한 원래의 값으로 수정하여 적용한다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
621 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 210
620 service name방식의 oracle을 메타정보 저장소로 사용할때 Hue Configuration설정하는 방법 2022.02.12 210
619 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 2017.03.30 211
618 [TLS]pkcs12형식의 인증서 생성및 jks형식 인증서 생성 커맨드 예시 2022.03.15 211
617 S2RDF모듈의 실행부분만 추출하여 별도록 실행하는 방법(draft) 2016.06.14 213
616 LUBM 개수별 hadoop HDFS data사이즈 정리 2017.04.06 214
615 kudu rebalance수행 command예시 2022.01.17 218
614 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 219
613 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 2016.08.11 220
612 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 2016.09.24 220
611 How-to: Tune Your Apache Spark Jobs (Part 2) file 2016.10.31 221
610 LUBM 데이타 생성구문 2017.07.24 221
609 failed to read local state, exiting...오류발생시 조치사항 2016.04.06 222
608 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 2018.04.20 223
607 대표 오픈소스 라이선스, 한 눈에 보기! 2015.12.10 226
606 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 226
605 protege 4.3 다운로드 2015.12.09 227
604 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 2022.07.14 228
603 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 230
602 컴퓨터 무한 재부팅 원인및 조치방법 file 2017.12.05 232
쓰기 태그
위로