메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hive의 메타정보 테이블을 MariaDB로 사용하는 경우 impala에서 table생성시 table의 comment나 column의 comment에 한글 입력시 깨지는 경우가 있는데 이는 default character set인 latin1을 사용하기 때문이다 .

그래서 character set를 utf8로 바꾸야 하는데 다음과 같이 수행한다. (관련 테이블은 hive에서 사용하는 TABLE_PARAMS, TBLS, COLUMN_V2 이렇게 3개의 테이블이다)


alter table metastore.TABLE_PARAMS convert to character set utf8;

하면 show full columns from metastore.TABLE_PARAMS의 varchar컬럼들의 Collation항목이 utf8_general_ci로 변경된다. 

번호 제목 글쓴이 날짜 조회 수
90 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 총관리자 2022.01.12 113
» hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. gooper 2023.03.10 114
88 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 127
87 streaming작업시 입력된 값에 대한 사본을 만들게 되는데 이것이 실패했을때 발생하는 경고메세지 총관리자 2017.04.03 128
86 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 128
85 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 총관리자 2017.03.30 132
84 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 133
83 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 139
82 scala application 샘플소스(SparkSession이용) 총관리자 2018.03.07 139
81 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 총관리자 2018.04.17 150
80 spark notebook 0.7.0설치및 설정 총관리자 2016.11.14 160
79 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 167
78 spark2.0.0에서 hive 2.0.1 table을 읽어 출력하는 예제 소스(HiveContext, SparkSession, SQLContext) 총관리자 2017.03.09 169
77 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 총관리자 2016.06.09 176
76 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 총관리자 2022.01.17 190
75 spark 2.0.0의 api를 이용하는 예제 프로그램 총관리자 2017.03.15 199
74 RHEL 7.4에 zeppelin 0.7.4 설치 총관리자 2018.07.31 200
73 우분투 16.04LTS에 Zeppelin 0.7.3설치 총관리자 2018.04.18 203
72 Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법 총관리자 2018.02.01 206
71 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 총관리자 2018.04.15 208

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로