메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


impala [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다.

gooper 2022.07.29 16:41 조회 수 : 325

Impala Query수행후 MEM_LIMIT를 초과하는 값에 대해서 disk에 기록해서 처리하는 Memory spilled가 작동하는데 이때 Memory Spilled값을 구하는 방법은 다음과 같다. 

Impala query수행후 query detail화면에서 보여지는 

Query Info의 Memory Spilled값은 Per Node Profiles에서 보여지는 노드별 ScratchFileUsedBytes값을 모두 더해서 구해진다. 


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
201 update를 많이 하면 heap memory가 많이 소진되고 최종적으로 OOM가 발생하는데 이에 대한 설명 2017.04.10 817
200 Ubuntu 16.04 LTS에 4대에 Hadoop 2.8.0설치 2017.05.01 818
199 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 2018.08.03 819
198 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 2014.09.10 822
197 [dovecot]dovecot restart할때 root@gsda4:/usr/lib/dovecot# service dovecot restart 오류 발생시 조치사항 2017.06.12 822
196 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 823
195 AIX 7.1에 Python 2.7.11설치하기 2016.10.06 825
194 source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 2014.05.20 829
193 Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 2015.05.17 829
192 우분투에서 패키지 설치시 E: Sub-process /usr/bin/dpkg returned an error code 발생시 조치 2017.05.02 839
191 secureCRT에서 backspace키가 작동하지 않는 경우 해결방법 2015.05.11 840
190 [springframework]Caused by: org.mariadb.jdbc.internal.util.dao.QueryException: Could not read resultset: unexpected end of stream, read 0 bytes from 4 오류 발생시 조치사항 2017.01.23 842
189 "File /user/hadoop/share/lib does not exist" 오류 해결방법 2015.06.07 849
188 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 852
187 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 860
186 Cloudera Manager web UI의 언어를 한글에서 영문으로 변경하기 2018.04.03 860
185 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 2017.07.04 869
184 os가 windows7인 host pc에서 ubuntu가 os인 guest pc에 접근하기 위한 네트워크설정 2014.04.20 872
183 hive metastore ERD file 2018.09.20 877
182 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 879
쓰기 태그
위로