Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1. 일반 사용자의 Impala Memory 리소스 사용 제약을 위하여 Impala Admission Control 설정 방법
2. 쿼리 수행시 메모리 판단 기준
2.1) Impala Admission Control에서 설정 가능한 항목 확인
> Max Memory Limit : 쿼리 실행계획의 "Per-Host Resou rce Estimates" 값으로 체크되어 배제, impalad프로세스에 대한 전체 제한을 설정
> Maximum Query Memory Limit : 쿼리 실행계획의 "M ax Per-Host Resource Reservation" 값으로 필요 메모리 최소 값체크, 각 호스트의 쿼리당 메모리로 체크
2.2) Maximum Query Memory Limit 설정에서 쿼리별 필요한 최소 메모리 계산 방법
> 필요한 최소메모리(A)가 구하고자 하는 값의 100%, Max Per-Host Resource Reservation(B)가 80%, 나머지 20%(20%가 32보다 작으면 32M)
> A(100%)=B(80%)+Max(32M,(A의 20%))
2.3) Maximum Query Memory Limit 값 설정을 위한 참조 할 수 있는 메모리 값
> 참조값1)쿼리 실행계획의 "Max Per-Host Resource Reservation" 값으로 최소 메모리값을 계산하여 참조
=> Impala 데몬 호스트에 필요한 쿼리당 "최소 메모리"입니다.
=> 최소 메모리값을 구하여 설정하면 쿼리는 실행 되지만, 추가로 필요한 메모리양 만큼 디스크를 사용(spill)하여 성능이 저하 될 수 있습니다.
=> Maximum Query Memory Limit 설정값이 "최소 메모리" 값보다 작으면 쿼리는 실패합니다.
> 참조값2)쿼리 프로파일의 "per Node Peak Memory Usage"값을 참조
=> 각 impala 데몬 호스트에서 사용되는 쿼리당의 "최대 메모리" 사용량입니다.
=> CM > Impala > Queries 에서 "Per Node Peak Memory Usage" 로 확인 가능 합니다.
=> CM > Charts > Chart Builder 에서 select memory_per_node_peak from IMPALA_QUERIES where service_name="impala" 쿼리로도 확인 가능 합니다.
3. 다음과 같이 쿼리 수행시 판단하면 된다.
3.1) Impala Admission Control > "Maximum Query Memory Limit" 항목을 이용 하여 Impala Memory 리소스 사용 제약
3.2) "per Node Peak Memory Usage"값을 참고 하여 Maximum Query Memory Limit 값을 설정
(각 호스트에서 쿼리에 필요 할 수 있는 "최대 메모리" 사용량으로 설정합니다.)