메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP [kudu]테이블 drop이 안되고 timeout이 걸리는 경우 조치 방법

총관리자 2020.06.08 14:18 조회 수 : 575

kudu테이블의 파티션 개수가 너무 많은 경우 메타스토어와의 통신시간이 길어지면서 timeout이 걸리고 파일은 삭제되지 못하는 현상이 발생하는데 임시로 아래와 같이 timeout시간을 조정하여 처리할 수 있다.


* Impala설정

CM -> Impala -> Configuration -> hive.metastore.client.socket.timeout을 확인한다. 이때 Hive Metastore와 mysql 관련 이슈이므로 Impala설정만으로 커버할 수는 없음


* Hive설정

CM -> Hive -> Configuration -> hive.metastore.client.socket.timeout (default 5분 -> 25분)

CM -> Hive -> Configuration -> Service Monitor Client Config Overrides -> hive.metastore.client.socket.timeout (default 1분 -> 25분)

(최대 30분 이내로 설정할것, 쿼리의 응답시간이 1분이 초과된 쿼리는 자동으로 cancel되는데 이 시간을 25분으로 늘려준다)



관련 설정이 적용한후 다시 삭제를 해보면 timeout시간이 늘어나서 오랜 시간이 걸려도 삭제는 가능한다. 

이후 관련 값을 적정한 원래의 값으로 수정하여 적용한다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
621 거침없이 배우는 Drools 책의 샘플소스 file 2016.07.22 1369
620 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 2014.04.23 1339
619 json 값 다루기 2014.04.17 1329
618 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 1320
617 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 2017.05.01 1309
616 external partition table생성및 data확인 2014.04.03 1300
615 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 2016.09.25 1299
614 zookeeper 3.4.6 설치(3대) 2015.04.28 1296
613 [kubernetes]우분투 Kubernetes 설치 방법 file 2019.07.24 1287
612 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 1279
611 json으로 존재하는 데이터 parsing하기 2019.03.25 1256
610 sequence한 번호 생성방법 2014.04.25 1256
609 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 1246
608 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1241
607 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1231
606 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1198
605 json serde사용법 2014.04.17 1196
604 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 2014.09.25 1193
603 Hive Query Examples from test code (1 of 2) 2014.03.26 1175
602 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 2018.01.16 1167
쓰기 태그
위로