메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. metastore.TBLS에 hive/impala/kudu 테이블이 저장되며 owner에 테이블 생성 계정과 tbl_name에 소문자로 변환된 테이블명만 기록된다. 

1-1. TBLS에 tbl_type에는 MANAGED_TABLE, EXTERNAL_TABLE값을 가진다. 

2. metastore.TABLE_PARAMS테이블에 kudu테이블 관련 정보가 기록된다. 

특히 param_key='kudu.table_name'컬럼에 param_value부분에 impala::TESTDB.tb_test-table 과 같은 형태로 kudu테이블 이름과 DB명이 같이 저장되며 param_value부분은 대/소문자 변환없이 create table 에 지정된 db명과 테이블명이 그대로 저장된다. 

3. TBLS에서 tbl_name으로 테이블명을 주고 검색하여 tbl_id를 구한후 이값을 TABLE_PARAMS테이블의 tbl_id에 조건을 걸어야 해당 테이블에 대한 속성 정보를 볼 수 있다. 

4. kudu테이블의 경우 TABLE_PARAMS컬럼에 STATS_GENERATED_VIA_STATS_TASK, kudu.master_address, kudu.table_name, numRows, storage_handler, transient_lastDdlTime등의 값이 저장되며 external table의 경우 external의 저장된다. 

5. hive테이블의 경우 external과 transient_lastDdlTime등의 일부만 저장된다. 

번호 제목 날짜 조회 수
481 servlet-api를 jar형태로 build할때 포함하지 말고 java 설치 위치의 jre/lib/ext에 복사하여 사용하는것이 좋다. 2016.08.10 539
480 외부 jar파일을 만들려고하는jar파일의 package로 포함하는 방법 2016.08.10 153
479 compile할때와 exclude할때 대상을 표현하는 명칭이 다르므로 주의할것 2016.08.10 669
478 jar파일의 dependency찾는 프로그램 2016.08.11 246
477 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 2016.08.11 220
476 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 2016.08.12 322
475 Jena는 기본적으로 multi thread환경을 지원하지 않는다. 2016.08.16 322
474 build.gradle을 pom.xml로 변환하는 방법 2016.08.18 1483
473 kafka 0.9.0.1버젼의 producer와 kafka버젼이 0.10.0.1인 consumer가 서로 대화하는 모습 2016.08.18 362
472 spark, kafka, mariadb, jena, springframework등을 이용하여 공통모듈을 jar로 만들기 위한 build.gradle파일(참고용) 2016.08.19 681
471 spark submit용 jar파일을 만드는 sbt 용 build.sbt설정 파일(참고용) 2016.08.19 410
470 springframework를 이용한 war를 생성하는 build.gradle파일(참고용) 2016.08.19 732
469 jena jar파일실행시 org.apache.jena.tdb.TDB.init에서 java.lang.NullPointerException발생시 조치사항 2016.08.19 412
468 로컬에 있는 jar파일을 지정하고 dependency로 가져오기 2016.08.19 429
467 특정문자열이나 URI를 임의로 select 절에 지정하여 사용할때 사용하는 sparql 문장 2016.08.25 457
466 초기 오류(java.lang.NoSuchMethodError)에 따른 후속 작업에서 오류(java.lang.NoClassDefFoundError)가 발생되는 상황(quartz에서 주기적으로 작업시) 2016.08.29 670
465 [Mybatis]Spring과 연동하지 않고 Java+Mybatis 형태의 프로그램 샘플소스 2016.09.01 935
464 No broker partitions consumed by consumer thread오류 발생시 확인/조치할 사항 2016.09.02 389
463 AIX 7.1에 Hadoop설치(정리중) 2016.09.12 453
462 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 310
위로