메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive hive metastore db중 TBLS, TABLE_PARAMS테이블 설명

총관리자 2021.10.22 15:29 조회 수 : 610

1. metastore.TBLS에 hive/impala/kudu 테이블이 저장되며 owner에 테이블 생성 계정과 tbl_name에 소문자로 변환된 테이블명만 기록된다. 

1-1. TBLS에 tbl_type에는 MANAGED_TABLE, EXTERNAL_TABLE값을 가진다. 

2. metastore.TABLE_PARAMS테이블에 kudu테이블 관련 정보가 기록된다. 

특히 param_key='kudu.table_name'컬럼에 param_value부분에 impala::TESTDB.tb_test-table 과 같은 형태로 kudu테이블 이름과 DB명이 같이 저장되며 param_value부분은 대/소문자 변환없이 create table 에 지정된 db명과 테이블명이 그대로 저장된다. 

3. TBLS에서 tbl_name으로 테이블명을 주고 검색하여 tbl_id를 구한후 이값을 TABLE_PARAMS테이블의 tbl_id에 조건을 걸어야 해당 테이블에 대한 속성 정보를 볼 수 있다. 

4. kudu테이블의 경우 TABLE_PARAMS컬럼에 STATS_GENERATED_VIA_STATS_TASK, kudu.master_address, kudu.table_name, numRows, storage_handler, transient_lastDdlTime등의 값이 저장되며 external table의 경우 external의 저장된다. 

5. hive테이블의 경우 external과 transient_lastDdlTime등의 일부만 저장된다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
481 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 615
480 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 615
479 java.util.NoSuchElementException발생시 조치 2014.08.27 615
478 외부 기기(usb, 하드)등 mount(연결)하기 2014.08.03 611
» hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 2021.10.22 610
476 Hive MetaStore Server기동시 Could not create "increment"/"table" value-generation container SEQUENCE_TABLE since autoCreate flags do not allow it. 오류발생시 조치사항 2017.05.03 606
475 Oracle RAC 구성된 DB서버에 대한 컴포넌트별 설정 방법 2022.02.12 604
474 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 2015.04.30 604
473 A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 2020.05.06 603
472 oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 2021.12.31 602
471 [JSON 파싱]mongodb의 document를 GSON을 이용하여 parsing할때 ObjectId값에서 오류 발생시 조치방법 2017.01.18 599
470 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 2016.04.11 599
469 python2.7.4에서 Oracle DB(11.2)를 사용하기 위한 설정(RPM을 이용하여 RHEL 7.4에 설치) 2021.11.26 598
468 Mysql DB 생성 및 권한. 특정아이피, 대역에 대한 접근 허용 2017.05.04 598
467 [sqoop] mapper를 2이상으로 설정하기 위한 split-by컬럼을 찾을때 유용하게 활용할 수 있는 쿼리 2020.05.13 596
466 [번역] solr 검색 엔진 튜토리얼 2014.10.07 596
465 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 2022.06.10 594
464 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 2022.05.13 594
463 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 2019.06.14 591
462 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 2018.05.22 589
쓰기 태그
위로