메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kudu [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107)

gooper 2023.03.16 14:36 조회 수 : 5211

Impala쿼리를 이용하여 sql문을 수행시 kudu table을 읽을 때 다음과 같은 오류가 발생하면 오류가 발생한 테이블의 skew상태를 먼저 확인해 본다. 

skew가 심하면 특정 tablet server에 table의 tablet이 많이 몰린 상태인데.. sql을 처리하면서 몰린 tablet서버에서 데이터를 많이 읽어들이면서 해당 table의 데이터가 들어 있는 tablet server가 응답을 못하는 등의 불안정한 상태가 되면서 아래와 같은 오류가 발생한다. 

해결하는 방법은 kudu cluster reblance수행시 -tables=impala::aa.aa_table1,aa.aa_table2 와 같이 오류가 발생한 테이블만 지정하여 kudu rebalance 수행하면 해당 테이블의 tablet을 적절하게 rebalance해준다. 


--오류내용

ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::aa.aa_table2': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107)

ERROR: Unable to advance iterator for node with id '1' for Kudu table 'impala::aa.aa_table1': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107)

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
307 kudu table와 impala(hive) table정보가 틀어져서 테이블을 읽지 못하는 경우(Error Loading Metadata) 조치방법 2023.11.10 4566
306 missing block및 관련 파일명 찾는 명령어 2021.02.20 4566
305 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 4563
304 [DBeaver 4.3.0]import/export시 "Client home is not specified for connection" 오류발생시 조치사항 2017.12.21 4560
303 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 4558
302 [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 2023.07.17 4547
301 update 샘플 2018.03.12 4546
300 [CDP7.1.7]Hive Replication수행시 Target Cluster에서 Specified catalog.database.table does not exist 오류 2024.05.08 4538
299 json serde사용법 2014.04.17 4535
298 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 4529
297 mongodb aggregation query를 Java code로 변환한 샘플 2016.12.15 4529
296 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 2024.04.05 4526
295 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 2022.01.14 4526
294 hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail 2015.06.11 4526
293 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 2016.07.08 4525
292 sequence한 번호 생성방법 2014.04.25 4524
291 [Active Directory] AD Kerberos보안 설정 변경 방법 (Maximum lifetime for user ticket, Maximum lifetime for user ticket renewal) 2024.03.12 4522
290 [Atlas Server]org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)] 2023.05.15 4520
289 [CDP7.1.7][Replication]Table does not match version in getMetastore(). Table view original text mismatch 2024.01.02 4519
288 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 4518
쓰기 태그
위로