메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive hive metastore db중 TBLS, TABLE_PARAMS테이블 설명

총관리자 2021.10.22 15:29 조회 수 : 611

1. metastore.TBLS에 hive/impala/kudu 테이블이 저장되며 owner에 테이블 생성 계정과 tbl_name에 소문자로 변환된 테이블명만 기록된다. 

1-1. TBLS에 tbl_type에는 MANAGED_TABLE, EXTERNAL_TABLE값을 가진다. 

2. metastore.TABLE_PARAMS테이블에 kudu테이블 관련 정보가 기록된다. 

특히 param_key='kudu.table_name'컬럼에 param_value부분에 impala::TESTDB.tb_test-table 과 같은 형태로 kudu테이블 이름과 DB명이 같이 저장되며 param_value부분은 대/소문자 변환없이 create table 에 지정된 db명과 테이블명이 그대로 저장된다. 

3. TBLS에서 tbl_name으로 테이블명을 주고 검색하여 tbl_id를 구한후 이값을 TABLE_PARAMS테이블의 tbl_id에 조건을 걸어야 해당 테이블에 대한 속성 정보를 볼 수 있다. 

4. kudu테이블의 경우 TABLE_PARAMS컬럼에 STATS_GENERATED_VIA_STATS_TASK, kudu.master_address, kudu.table_name, numRows, storage_handler, transient_lastDdlTime등의 값이 저장되며 external table의 경우 external의 저장된다. 

5. hive테이블의 경우 external과 transient_lastDdlTime등의 일부만 저장된다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
481 Components of the Impala Server 2018.03.21 378
480 sparql 1.1 BIND(if() as ?bind변수) 버그로 추정되는 문제점및 해결방안 -> select 문에 (if(,,) as ?bind변수) file 2016.01.21 379
479 쿠버네티스(k8s) 설치 및 클러스터 구성하기 2019.10.19 379
478 [sbt] sbt 0.13.11 를 windows에 설치하고 scala프로그램을 compile해서 jar파일 만들기 2016.07.11 380
477 ResultSet에서 데이타를 List<Map<String,String>>형태로 만들어서 리턴하는 소스(Collections.sort를 이용한 정렬 가능) 2016.12.15 381
476 이미지 관리 오픈소스 목록 2018.03.11 382
475 schema.xml vs managed-schema 지정 사용하기 - 두개를 동시에 사용할 수는 없음 2017.07.09 384
474 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 387
473 No broker partitions consumed by consumer thread오류 발생시 확인/조치할 사항 2016.09.02 387
472 [CentOS] 네트워크 설정 2018.03.26 387
471 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 2017.09.14 390
470 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 2018.05.22 392
469 Spark에서 KafkaUtils.createStream()를 이용하여 이용하여 kafka topic에 접근하여 객채로 저장된 값을 가져오고 처리하는 예제 소스 2017.04.26 393
468 fuseki webUI를 통해서 전체 카운트를 하면 급격하게 메모리를 소모해 버리는 문제가 있음 file 2017.04.28 393
467 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 2017.10.12 393
466 drools에서 drl관련 로그를 기록하기 위한 클래스 파일 2016.07.21 394
465 우분투 16.04 설치후 APM (Apache2, PHP, MySQL) 설치 2017.01.29 394
464 Cleaning up the staging area file시 'cannot access' 혹은 'Directory is not writable' 발생시 조치사항 2017.05.02 396
463 sendmail + dovecot(pop3) + saslauthd 설치 2017.06.11 396
462 권한회수 및 권한부여 명령 몇가지 2017.11.16 397
쓰기 태그
위로