메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


impala [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우

gooper 2024.01.05 16:37 조회 수 : 118

보통 Kudu tablet에짧은 시간에 다수의 CUD작업이 몰리게 되면 tablet server의 tablet단위로 할당된 설정(--tablet_transaction_memory_limit_mb)을 넘는 op요청이 몰리게 되면서 Kudu tablet에서는 다음의 WARN이 발생하며, Impala에서는 요청된 쿼리 작업이 지연되면서 지정된 시간(impalad의 kudu_operation_timeout_ms, default값은 180000)이 초과되어 아래의 INFO성 오류 메세지가 발생하고 쿼리는 실패함.


1. 쿼리 수행시 Impalad에서 발생하는 오류 메세지
Query submitted at: 2024-01-04 15:34:08 (Coordinator: http://nodeidcp01.gooper.com:25000)
Stdoutput Query progress can be monitored at: http://nodeidcp01.gooper.com:25000/query_plan?query_id=38428544158d812f:7701809d00000000
Stdoutput ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91 after 1 attempt(s): Failed to write to server: 2fc1a398e48440ea8c30987b1ff6aa06 (nodedatp01.gooper.com:7050): Write RPC to 11.22.333.111:7050 timed out after 180.000s (SENT)
Stdoutput
Stdoutput Error in Kudu table 'impala::db1.table1': Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91 after 1 attempt(s): Failed to write to server: 2fc1a398e48440ea8c30987b1ff6aa06 (nodedatp01.gooper.com:7050): Write RPC to 11.22.333.111:7050 timed out after 180.000s (SENT) (1 of 774 similar)
Stdoutput


2. Kudu tablet server(IP : 11.22.333.111) 로그에서 확인되는 WARN메세지
T 467b0cb91d0440089483af33e6e97dd7 P 2fc1a398e48440ea8c30987b1ff6aa06 -> Peer 75aa387ce53c4821bb0f9f819f4307d8 (nodedatp13.gooper.com:7050): Couldn't send request to peer 75aa387ce53c4821bb0f9f819f4307d8. Status: Illegal state: Rejecting Update request from peer 2fc1a398e48440ea8c30987b1ff6aa06 for term 2. Could not prepare a single op due to: Service unavailable: op on tablet 467b0cb91d0440089483af33e6e97dd7 rejected due to memory pressure: the memory usage of this op (562924) plus the current consumption
(134209964) exceeds the op memory limit (134217728) or the limit of an ancestral memory tracker.. This is attempt 1: this message will repeat every 5th retry.


3. 조치는 Kudu tablet서버의 configuration에서
--tablet_transaction_memory_limit_mb 값을 늘려준다.(default : 64M)

 or 

impala의 configuration에서 

--kudu_operation_timeout_ms(default값은 180000ms)를 늘려준다. 

or 

impala의 configuration에서 

--maintenance_manager_num_threads(default 4, 플러시 및 압축과 같은 백그라운드 유지 관리 작업에 사용되는 스레드 수)의 수를 늘려준다. 

: 태블릿 서버가 쓰기 작업(삽입, 업데이트 및 삭제)에서 뒤쳐지고 CPU 및 디스크 리소스가 아직 여유가 있다면 이 스레드 수를 늘리면 백그라운드 작업에 더 많은 리소스가 할당되어 작업이 빨리 끝나게 되므로 timeout이 발생하지 않게됨.


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
18 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 1869
17 impala 설치/설정 2016.06.03 1161
16 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 879
15 Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 2023.05.19 669
14 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle 2022.06.10 622
13 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) 2022.07.04 557
12 임시 테이블에서 데이터를 읽어서 partitioned table에 입력하는 impala SQL문 예시 2023.11.10 414
11 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 2021.11.03 360
10 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 2023.11.30 338
9 impala external 테이블 생성시 컬럼과 라인 구분자를 지정하여 테이블 생성하는 예시 2020.02.20 327
8 [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다. 2022.07.29 319
7 [impala]쿼리 수행중 발생하는 오류(due to memory pressure: the memory usage of this transaction, Failed to write to server) 2022.10.05 246
6 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 230
5 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 196
4 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 195
3 [Impala jdbc]CDP7.1.7환경에서 java프로그램을 이용하여 kerberized impala cluster에 접근하여 SQL을 수행하는 방법 2023.08.22 164
» [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 118
1 [Impala] alter table구문수행시 "WARNINGS: Impala does not have READ_WRITE access to path 'hdfs://nameservice1/DATA/Temp/DB/source/table01_ccd'" 발생시 조치 2024.04.26 98
쓰기 태그
위로