메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive hive metastore db중 TBLS, TABLE_PARAMS테이블 설명

총관리자 2021.10.22 15:29 조회 수 : 586

1. metastore.TBLS에 hive/impala/kudu 테이블이 저장되며 owner에 테이블 생성 계정과 tbl_name에 소문자로 변환된 테이블명만 기록된다. 

1-1. TBLS에 tbl_type에는 MANAGED_TABLE, EXTERNAL_TABLE값을 가진다. 

2. metastore.TABLE_PARAMS테이블에 kudu테이블 관련 정보가 기록된다. 

특히 param_key='kudu.table_name'컬럼에 param_value부분에 impala::TESTDB.tb_test-table 과 같은 형태로 kudu테이블 이름과 DB명이 같이 저장되며 param_value부분은 대/소문자 변환없이 create table 에 지정된 db명과 테이블명이 그대로 저장된다. 

3. TBLS에서 tbl_name으로 테이블명을 주고 검색하여 tbl_id를 구한후 이값을 TABLE_PARAMS테이블의 tbl_id에 조건을 걸어야 해당 테이블에 대한 속성 정보를 볼 수 있다. 

4. kudu테이블의 경우 TABLE_PARAMS컬럼에 STATS_GENERATED_VIA_STATS_TASK, kudu.master_address, kudu.table_name, numRows, storage_handler, transient_lastDdlTime등의 값이 저장되며 external table의 경우 external의 저장된다. 

5. hive테이블의 경우 external과 transient_lastDdlTime등의 일부만 저장된다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
641 HBase write 성능 튜닝 file 2017.07.18 182
640 java스레드 덤프 분석하기 file 2016.11.03 184
639 hbase startrow와 endrow를 지정하여 검색하기 샘플 2016.12.07 184
638 특정 커밋 시점(commit id를 기준으로)으로 돌리기(reset) 2016.11.21 185
637 파일명 혹은 확장자 일괄 변경하는 방법 2017.01.26 185
636 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 185
635 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 186
634 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 2015.12.16 191
633 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 191
632 jdk 9이상 사용하려면 repository를 아래와 같이 지정해야한다. 2019.06.02 193
631 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 193
630 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 193
629 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 195
628 eclipse editor 설정방법 2022.02.01 197
627 service name방식의 oracle을 메타정보 저장소로 사용할때 Hue Configuration설정하는 방법 2022.02.12 199
626 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 200
625 oneM2M Specification(Draft Release 3, 2, 1), Draft Technical Reports 2017.10.25 200
624 [Elephas] Jena Elephas를 이용하여 Spark에서 rdfTriples의 RDD를 만들고 RDD관련 작업하는 샘플소스 2016.08.10 202
623 파일은 남겨두고 파일 내용만 지우고자 할 때. 2017.08.30 204
622 fuseki의 endpoint를 이용한 insert, delete하는 sparql예시 2018.02.14 204
쓰기 태그
위로