메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Impala쿼리를 이용하여 sql문을 수행시 kudu table을 읽을 때 다음과 같은 오류가 발생하면 오류가 발생한 테이블의 skew상태를 먼저 확인해 본다. 

skew가 심하면 특정 tablet server에 table의 tablet이 많이 몰린 상태인데.. sql을 처리하면서 몰린 tablet서버에서 데이터를 많이 읽어들이면서 해당 table의 데이터가 들어 있는 tablet server가 응답을 못하는 등의 불안정한 상태가 되면서 아래와 같은 오류가 발생한다. 

해결하는 방법은 kudu cluster reblance수행시 -tables=impala::aa.aa_table1,aa.aa_table2 와 같이 오류가 발생한 테이블만 지정하여 kudu rebalance 수행하면 해당 테이블의 tablet을 적절하게 rebalance해준다. 


--오류내용

ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::aa.aa_table2': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107)

ERROR: Unable to advance iterator for node with id '1' for Kudu table 'impala::aa.aa_table1': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107)

번호 제목 날짜 조회 수
750 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 90865
749 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 22227
748 mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 2017.05.04 19794
747 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 2013.03.11 16996
746 Hive Query Examples from test code (2 of 2) 2014.03.26 13505
745 Resource temporarily unavailable(자원이 일시적으로 사용 불가능함) 오류조치 2015.11.19 11598
744 drop table로 삭제했으나 tablet server에는 여전히 존재하는 테이블 삭제방법 2021.07.09 10808
743 [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 2018.01.03 10238
742 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 2014.09.10 9950
741 [DataNode]org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: hdfs/datanode03@GOOPER.COM from keytab hdfs.keytab오류 2023.04.18 9823
740 insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 2014.04.29 9667
739 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9071
738 cumulusRDF 1.0.1설치및 "KeyspaceCumulus" keyspace확인하기 file 2016.04.15 8725
737 .git폴더를 삭제하고 다시 git에 추가하고 서버에 반영하는 방법 2017.06.19 8631
736 HBase shell로 작업하기 2013.03.15 8335
735 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 2017.05.23 7978
734 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 7887
733 dr.who로 공격들어오는 경우 조치방법 file 2018.06.09 7850
732 Ubuntu 16.04LTS 설치후 초기에 주어야 하는 작업(php, apache, mariadb설치및 OS보안설정등) file 2017.05.23 7828
731 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 7743
위로