메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


AnalysisException: Failed to load metadata for table: 'db.table' CAUSED BY: TableLoadingException: Failed to load metadata for table: db.table CAUSED BY: InvalidStorageDescriptorException: Impala does not support tables of this type. REASON: SerDe library ' org.apache.hadoop.hive.kudu.KuduSerDe' is not supported..

혹은 Hue에서 kudu table이름을 클릭하면 하단에 컬럼정보가 표시되는 대신 "Error loading columns"라는 메세지가 보인다. 


상기한 메세지가 발생하는 경우는 kudu 테이블의 metadata를 저정하고 있는 hive.table_params에 관련 정보가 없거나 잘못되어 발생하는 문제이므로 kudu table의 meta data를 저정하는 table의 정보를 확인해보고 Kudu Master의 WebUI의 Tables탭에서 보이는 Table Name있는 이름이 kudu table meta data를 저장하는 테이블에 동일하게 저장되어 있는지 확인해 봐야 한다.

(테이블 정보는 hive.TBLS에 저정되며 select * from HIVE.TBLS where tbl_name = 'table명 으로 찾을 수 있고 tbl_id가 1234인 경우 kudu 테이블의 meta data는 select * from HIVE.TABLE_PARMS where tbl_id =1234로 검색해 볼수 있다.)

특히 meta data를 저장하는 RDBMS의 이관이나 변경등이 발생할때는 전후 건수 체크를 통해서 누락되지 않도록 하는 조치가 필요해 보인다. 

번호 제목 글쓴이 날짜 조회 수
» kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 총관리자 2022.01.12 116
89 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. gooper 2023.03.10 117
88 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 127
87 streaming작업시 입력된 값에 대한 사본을 만들게 되는데 이것이 실패했을때 발생하는 경고메세지 총관리자 2017.04.03 130
86 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 131
85 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 총관리자 2017.03.30 132
84 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 134
83 scala application 샘플소스(SparkSession이용) 총관리자 2018.03.07 140
82 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 141
81 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 총관리자 2018.04.17 152
80 spark notebook 0.7.0설치및 설정 총관리자 2016.11.14 160
79 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 169
78 spark2.0.0에서 hive 2.0.1 table을 읽어 출력하는 예제 소스(HiveContext, SparkSession, SQLContext) 총관리자 2017.03.09 169
77 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 총관리자 2016.06.09 177
76 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 총관리자 2022.01.17 193
75 spark 2.0.0의 api를 이용하는 예제 프로그램 총관리자 2017.03.15 199
74 RHEL 7.4에 zeppelin 0.7.4 설치 총관리자 2018.07.31 205
73 우분투 16.04LTS에 Zeppelin 0.7.3설치 총관리자 2018.04.18 205
72 Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법 총관리자 2018.02.01 207
71 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 총관리자 2018.04.15 212

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로