메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


impala [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안

gooper 2022.11.30 16:50 조회 수 : 879

compute incremental stats db명.테이블명 수행시 밞생하는 오류 "ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB."는

inc_stats_size_limit_bytes(default 200Mb)를 초과하여 발생하는 오류입니다. 

inc_stats_size_limit_bytes는 table metadata를 update하다가 out of memory가 발생하는 것을 방지하기 위한 값입니다. 

아래의 계산식으로 현재 값을 계산할 수 있습니다. 

(예, 파티션개수 :1795, 컬럼수 : 588인경우 약 201.3MB가 산출됨)

값을 변경 적용하기 전에 우선 고려할 수 있는 방안은 다음과 같습니다.


1. compute stats방식으로 통계정보 생성

2. 파티션을 줄이기 줄이기(예, 일단위->월단위)

3. 데이터를 삭제하여 물리적인 파티션의 개수를 줄임.

4. table을 여러개로 나누어 테이블당 파티션 개수를 줄임.


*참고 

1. 기본 계산식 : 200 bytes * 컬럼수 * 피티션수

2. inc_stats_size_limit_byte값을 변경하면 heap usage에 spike가 발생되어 impala가 crash될 수 있음

3. inc_stats_size_limit_byte변경하려면 impala catalogd및 impalad를 같이 변경해줘야 합니다. 


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
561 Lagom프레임웍에서 제공하는 HelloWorld 테스트를 수행시 [unknown-version]오류가 발생하면서 빌드가 되지 않는 경우 조치사항 2017.12.22 278
560 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 278
559 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 2017.10.12 280
558 spark2.0.0에서 hive 2.0.1 table을 읽어 출력하는 예제 소스(HiveContext, SparkSession, SQLContext) 2017.03.09 284
557 하둡기반 데이타 모델링(6편) 2018.06.27 289
556 anaconda3(v5.4)를 이용하여 tensorflow설치후 ipython프로그램을 실행하여 import할때 오류발생시 조치 2018.07.27 289
555 Spark Streaming 코드레벨단에서의 성능개선 2016.10.31 290
554 Cloudera설치중에 "Error, CM server guid updated"오류 발생시 조치방법 2018.03.29 290
553 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 2024.04.05 290
552 windows7에서 lagom의 hello world를 빌드하여 실행하는 경우의 로그(mvn lagom:runAll -Dscala.binary.version=2.11) 2017.12.22 291
551 javax.net.ssl.SSLHanshakeException: SSLHandshakeException invoking https://mainCluster.gooper.com:7183/api/v1/users: sun.security.validator.ValidatorException: No trusted certificate found 2022.06.29 291
550 cloudera의 hue에서 사용자가 사용한 쿼리 목록 2020.02.07 296
549 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified 2023.02.02 297
548 Cloudera Manager의 Java Heap Size변경하는 방법 2022.06.27 298
547 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 299
546 java quartz 시간 설정 참고사항 2015.12.16 300
545 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 301
544 scala-eclipse 다운로드 2019.06.09 301
543 scala application 샘플소스(SparkSession이용) 2018.03.07 304
542 바나나 파이의 /tmp폴더를 외장하드로 변경하기 2015.07.24 307
쓰기 태그
위로