Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
hive의 메타정보 테이블을 MariaDB로 사용하는 경우 impala에서 table생성시 table의 comment나 column의 comment에 한글 입력시 깨지는 경우가 있는데 이는 default character set인 latin1을 사용하기 때문이다 .
그래서 character set를 utf8로 바꾸야 하는데 다음과 같이 수행한다. (관련 테이블은 hive에서 사용하는 TABLE_PARAMS, TBLS, COLUMN_V2 이렇게 3개의 테이블이다)
alter table metastore.TABLE_PARAMS convert to character set utf8;
하면 show full columns from metastore.TABLE_PARAMS의 varchar컬럼들의 Collation항목이 utf8_general_ci로 변경된다.
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
7 | hive metadata(hive, impala, kudu 정보가 있음) 테이블에서 db, table, owner, location를 조회하는 쿼리 | 총관리자 | 2020.02.07 | 396 |
6 | Hive JDBC Connection과 유형별 에러및 필요한 jar파일 | 총관리자 | 2021.05.24 | 864 |
5 | impala session type별 표시되는 정보로 구분하는 방법 | 총관리자 | 2021.05.25 | 99 |
4 | hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 | 총관리자 | 2021.10.22 | 272 |
3 | [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. | 총관리자 | 2022.04.14 | 59 |
» | hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. | gooper | 2023.03.10 | 119 |
1 | [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 | gooper | 2023.12.27 | 15 |