메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


보통 Kudu tablet에짧은 시간에 다수의 CUD작업이 몰리게 되면 tablet server의 tablet단위로 할당된 설정(--tablet_transaction_memory_limit_mb)을 넘는 op요청이 몰리게 되면서 Kudu tablet에서는 다음의 WARN이 발생하며, Impala에서는 요청된 쿼리 작업이 지연되면서 지정된 시간(impalad의 kudu_operation_timeout_ms, default값은 180000)이 초과되어 아래의 INFO성 오류 메세지가 발생하고 쿼리는 실패함.


1. 쿼리 수행시 Impalad에서 발생하는 오류 메세지
Query submitted at: 2024-01-04 15:34:08 (Coordinator: http://nodeidcp01.gooper.com:25000)
Stdoutput Query progress can be monitored at: http://nodeidcp01.gooper.com:25000/query_plan?query_id=38428544158d812f:7701809d00000000
Stdoutput ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91 after 1 attempt(s): Failed to write to server: 2fc1a398e48440ea8c30987b1ff6aa06 (nodedatp01.gooper.com:7050): Write RPC to 11.22.333.111:7050 timed out after 180.000s (SENT)
Stdoutput
Stdoutput Error in Kudu table 'impala::db1.table1': Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91 after 1 attempt(s): Failed to write to server: 2fc1a398e48440ea8c30987b1ff6aa06 (nodedatp01.gooper.com:7050): Write RPC to 11.22.333.111:7050 timed out after 180.000s (SENT) (1 of 774 similar)
Stdoutput


2. Kudu tablet server(IP : 11.22.333.111) 로그에서 확인되는 WARN메세지
T 467b0cb91d0440089483af33e6e97dd7 P 2fc1a398e48440ea8c30987b1ff6aa06 -> Peer 75aa387ce53c4821bb0f9f819f4307d8 (nodedatp13.gooper.com:7050): Couldn't send request to peer 75aa387ce53c4821bb0f9f819f4307d8. Status: Illegal state: Rejecting Update request from peer 2fc1a398e48440ea8c30987b1ff6aa06 for term 2. Could not prepare a single op due to: Service unavailable: op on tablet 467b0cb91d0440089483af33e6e97dd7 rejected due to memory pressure: the memory usage of this op (562924) plus the current consumption
(134209964) exceeds the op memory limit (134217728) or the limit of an ancestral memory tracker.. This is attempt 1: this message will repeat every 5th retry.


3. 조치는 Kudu tablet서버의 configuration에서
--tablet_transaction_memory_limit_mb 값을 늘려준다.(default : 64M)

 or 

impala의 configuration에서 

--kudu_operation_timeout_ms(default값은 180000ms)를 늘려준다. 

or 

impala의 configuration에서 

--maintenance_manager_num_threads(default 4, 플러시 및 압축과 같은 백그라운드 유지 관리 작업에 사용되는 스레드 수)의 수를 늘려준다. 

: 태블릿 서버가 쓰기 작업(삽입, 업데이트 및 삭제)에서 뒤쳐지고 CPU 및 디스크 리소스가 아직 여유가 있다면 이 스레드 수를 늘리면 백그라운드 작업에 더 많은 리소스가 할당되어 작업이 빨리 끝나게 되므로 timeout이 발생하지 않게됨.


번호 제목 날짜 조회 수
750 [Shellscript]Impala view의 실제 참조 테이블 추출용 shellscript파일 2025.03.22 1001
749 엑셀에서 K ,M, G ,T 단위를 숫자로 변환 하는 수식 2025.04.09 1262
748 beeline을 이용한 impala JDBC 테스트 방법(Kerberos 설정된 상태임) 2024.11.29 1539
747 외부에서 ImpalaJDBC42.jar를 통해서 Impala에 접속시 sessions정보 2024.11.26 1624
746 test333 2017.05.01 1834
745 http://blog.naver.com... 2017.06.23 1838
744 Failed to resolve 'acme-v02.api.letsencrypt.org' ([Errno -3] Temporary failure in name resolution)" 2024.11.27 1914
743 eclipse 3.1 단축키 정리파일 2017.01.02 2058
742 5건의 triple data를 이용하여 특정 작업 폴더에서 작업하는 방법/절차 2016.06.16 2079
741 [vi] test.nq파일에서 특정문자열(예, <>)을 찾아서 포함되는 라인을 삭제한 동일한 이름의 파일을 만드는 방법 2017.01.25 2079
740 Windows에서 sbt개발환경 구축 방법(링크) 2016.06.02 2087
739 [EncryptionZone]User:testuser not allowed to do "DECRYPT_EEK" on 'testkey' 2023.06.29 2097
738 외부 jar파일을 만들려고하는jar파일의 package로 포함하는 방법 2016.08.10 2105
737 java스레드 덤프 분석하기 file 2016.11.03 2114
736 restaurant-controller,에서 등록 예시 2022.04.30 2123
735 DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 2016.05.27 2129
734 실시간 쿼리 변환 모니터링(팩트내 필드값의 변경사항을 실시간으로 추적함)하는 테스트 java 프로그램 file 2016.07.21 2129
733 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 2022.04.14 2164
732 하둡기반 데이타 모델링(6편) 2018.06.27 2177
731 [메모리 덤프파일 분석] 2017.03.31 2242
위로