메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


impala admission control에서 해당 pool의 mininum query memory 값이 5G로 설정되고 "insert into db명.table명(a, b) partiton(b) select a, b from db명.table명" 쿼리 수행시 Query Status: "Memory limit exceeded: Failed to allocate memory for Parquet page index"라는 오류가 발생하면서 쿼리가 실패하는 경우는 select하여 Parquet테이블에 insert하면서 partition한개 전체를 한 노드에 모으는 과정(default: SHUFFLE)과 sort가 발생하면서 메모리 제한(5G)에 걸린것이다. 
이때는 /* +NOSHUFFLE */의 hint를 주면 당장의 쿼리를 수행할 수는 있으나 compute stat를 수행하거나 파티션을 세분화하는 등의 작업을 통해서 한 노드에서 메모리를 과도하게 사용하지 않도록 하는 방법을 강구해야 한다. 
(hint사용 예, "insert into db명.table명(a, b) partition(b) /* +NOSHUFFLE */ select a, b from db명.table명")

* query profile에서 다음과 같은 부분이 확인된다. 
Query(004855a129b89197:2172266000000000): memory limit exceeded. Limit=5.00 GB Reservation=4.00 GB ReservationLimit=4.00 GB OtherMemory=1.03 GB Total=5.03 GB Peak=5.03 GB
  Fragment 004855a129b89197:2172266000000008: Reservation=0 OtherMemory=0 Total=0 Peak=523.09 MB
    HDFS_SCAN_NODE (id=0): Reservation=0 OtherMemory=0 Total=0 Peak=518.61 MB
    KrpcDataStreamSender (dst_id=1): Total=0 Peak=1.01 MB
  Fragment 004855a129b89197:217226600000001c: Reservation=4.00 GB OtherMemory=1.03 GB Total=5.03 GB Peak=5.03 GB
    SORT_NODE (id=2): Reservation=4.00 GB OtherMemory=40.00 KB Total=4.00 GB Peak=4.00 GB
    EXCHANGE_NODE (id=1): Reservation=0 OtherMemory=0 Total=0 Peak=21.31 MB
      KrpcDeferredRpcs: Total=0 Peak=4.34 MB
    HdfsTableSink: Total=1.03 GB Peak=1.03 GB
  CodeGen: Total=1.23 KB Peak=669.00 KB
  CodeGen: Total=1.45 KB Peak=247.50 KB
번호 제목 날짜 조회 수
70 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 2017.10.12 2696
69 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 2688
68 딥러닝 수학/알고리즘 '한국어' 강의 2016.04.10 2685
67 [MemoryLeak분석]다수의 MongoCleaner 쓰레드가 Sleep상태에 있으면서 Full GC가 계속 발생되는 문제 해결방법 file 2017.01.11 2675
66 Core with name 'xx_shard4_replica1' already exists. 발생시 조치사항 2017.07.22 2667
65 Oracle 10g 혹은 12c 를 19c로 Upgrade시 Cloudera Cluster작업에 필요한 작업 2025.01.12 2662
64 Runtime.getRuntime().exec(cmd) sample 소스 2015.11.19 2649
63 windows 혹은 mac에서 docker설치하기 위한 파일 2017.10.13 2647
62 Github를 이용하는 전체 흐름 이해하기 2016.11.18 2641
61 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 2634
60 DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 2016.06.17 2634
59 mongodb 2.6.6 설치(64bit) 2015.09.30 2633
58 전체 컨택스트 내용 file 2017.12.19 2632
57 [vue storefrontui]외부 API통합하기 참고 문서 2022.02.09 2628
56 주문히스토리 조회 2022.04.30 2617
55 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpConfig.getSchemePrefix()Ljava/lang/String; 해결->실패 2015.06.14 2614
54 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 2611
53 lombok설치방법 2020.06.20 2603
52 ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 2015.12.08 2600
51 [PHP7.0]로그파일 위치 2017.05.07 2578
위로