Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1. metastore.TBLS에 hive/impala/kudu 테이블이 저장되며 owner에 테이블 생성 계정과 tbl_name에 소문자로 변환된 테이블명만 기록된다.
1-1. TBLS에 tbl_type에는 MANAGED_TABLE, EXTERNAL_TABLE값을 가진다.
2. metastore.TABLE_PARAMS테이블에 kudu테이블 관련 정보가 기록된다.
특히 param_key='kudu.table_name'컬럼에 param_value부분에 impala::TESTDB.tb_test-table 과 같은 형태로 kudu테이블 이름과 DB명이 같이 저장되며 param_value부분은 대/소문자 변환없이 create table 에 지정된 db명과 테이블명이 그대로 저장된다.
3. TBLS에서 tbl_name으로 테이블명을 주고 검색하여 tbl_id를 구한후 이값을 TABLE_PARAMS테이블의 tbl_id에 조건을 걸어야 해당 테이블에 대한 속성 정보를 볼 수 있다.
4. kudu테이블의 경우 TABLE_PARAMS컬럼에 STATS_GENERATED_VIA_STATS_TASK, kudu.master_address, kudu.table_name, numRows, storage_handler, transient_lastDdlTime등의 값이 저장되며 external table의 경우 external의 저장된다.
5. hive테이블의 경우 external과 transient_lastDdlTime등의 일부만 저장된다.
댓글 0
번호 | 제목 | 날짜 | 조회 수 |
---|---|---|---|
7 | hive metadata(hive, impala, kudu 정보가 있음) 테이블에서 db, table, owner, location를 조회하는 쿼리 | 2020.02.07 | 619 |
6 | Hive JDBC Connection과 유형별 에러및 필요한 jar파일 | 2021.05.24 | 960 |
5 | impala session type별 표시되는 정보로 구분하는 방법 | 2021.05.25 | 416 |
» | hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 | 2021.10.22 | 610 |
3 | [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. | 2022.04.14 | 167 |
2 | hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. | 2023.03.10 | 262 |
1 | [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 | 2023.12.27 | 113 |