메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kudu kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지

총관리자 2022.01.12 17:16 조회 수 : 570

AnalysisException: Failed to load metadata for table: 'db.table' CAUSED BY: TableLoadingException: Failed to load metadata for table: db.table CAUSED BY: InvalidStorageDescriptorException: Impala does not support tables of this type. REASON: SerDe library ' org.apache.hadoop.hive.kudu.KuduSerDe' is not supported..

혹은 Hue에서 kudu table이름을 클릭하면 하단에 컬럼정보가 표시되는 대신 "Error loading columns"라는 메세지가 보인다. 


상기한 메세지가 발생하는 경우는 kudu 테이블의 metadata를 저정하고 있는 hive.table_params에 관련 정보가 없거나 잘못되어 발생하는 문제이므로 kudu table의 meta data를 저정하는 table의 정보를 확인해보고 Kudu Master의 WebUI의 Tables탭에서 보이는 Table Name있는 이름이 kudu table meta data를 저장하는 테이블에 동일하게 저장되어 있는지 확인해 봐야 한다.

(테이블 정보는 hive.TBLS에 저정되며 select * from HIVE.TBLS where tbl_name = 'table명 으로 찾을 수 있고 tbl_id가 1234인 경우 kudu 테이블의 meta data는 select * from HIVE.TABLE_PARMS where tbl_id =1234로 검색해 볼수 있다.)

특히 meta data를 저장하는 RDBMS의 이관이나 변경등이 발생할때는 전후 건수 체크를 통해서 누락되지 않도록 하는 조치가 필요해 보인다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
641 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 185
640 http://blog.naver.com... 2017.06.23 186
639 HBase write 성능 튜닝 file 2017.07.18 186
638 특정 커밋 시점(commit id를 기준으로)으로 돌리기(reset) 2016.11.21 188
637 파일명 혹은 확장자 일괄 변경하는 방법 2017.01.26 188
636 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 188
635 슬라이딩 윈도우 예제 2016.07.28 189
634 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 2015.12.16 191
633 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 191
632 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 195
631 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 195
630 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 196
629 jdk 9이상 사용하려면 repository를 아래와 같이 지정해야한다. 2019.06.02 197
628 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 201
627 eclipse editor 설정방법 2022.02.01 201
626 [Elephas] Jena Elephas를 이용하여 Spark에서 rdfTriples의 RDD를 만들고 RDD관련 작업하는 샘플소스 2016.08.10 202
625 oneM2M Specification(Draft Release 3, 2, 1), Draft Technical Reports 2017.10.25 202
624 파일은 남겨두고 파일 내용만 지우고자 할 때. 2017.08.30 204
623 fuseki의 endpoint를 이용한 insert, delete하는 sparql예시 2018.02.14 207
622 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다. 2019.05.20 207
쓰기 태그
위로