메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류

gooper 2023.12.27 14:29 조회 수 : 204

CDP의 Hive Replication]Hive Replication기능을 이용하여 source의 hive db를 destination으로 복제를 수행중 이전에는 잘 수행되던것이 "The following columns have types incompatible with the existing columns in their respective positions " 오류가 발생하면서 실패하는 경우가 있다. 

이는 특정 컬럼의 type이 처음 table이 만들어지고 나서 변경이 되었고 이것이 replication과정에서 호환되지 않는 type이서 Hive에서 오류를 발생시켰기 때문이다. 

즉, 소스 클러스터에 변경 사항이 있는 경우(예를 들어 한 열의 데이터 유형이 변경된 테이블을 삭제하고 다시 생성하거나 추가 열을 추가하는 경우) 복제는 소스 클러스터와 대상 클러스터의 열 간의 비호환성을 감지하여 오류를 표시합니다.

이때는 target cluster의 Hive Configuration > Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml에 다음을 설정후 Hive를 restart후 실패한 Hive Replication을 재수행 하면 해결된다.

특히, Hive Replication schedule의 옵션에 "Force Overwrite"를 활성화 해도 이 오류는 발생한다.


*설정값 (CDP에서는 default가 true임)

hive.metastore.disallow.incompatible.col.type.changes=false  


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
» [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 204
46 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. 2023.03.10 1360
45 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 2022.04.14 658
44 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 2021.10.22 1026
43 impala session type별 표시되는 정보로 구분하는 방법 2021.05.25 901
42 Hive JDBC Connection과 유형별 에러및 필요한 jar파일 2021.05.24 1035
41 hive metadata(hive, impala, kudu 정보가 있음) 테이블에서 db, table, owner, location를 조회하는 쿼리 2020.02.07 1070
40 hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 merge하여 동일한 테이블에 입력하는 방법 2019.05.23 1301
39 json으로 존재하는 데이터 parsing하기 2019.03.25 1664
38 [sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법 2018.10.16 999
37 hive metastore ERD file 2018.09.20 983
36 oracle to hive data type정리표 2018.08.22 5145
35 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 2102
34 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 2018.04.15 886
33 Hive MetaStore Server기동시 Could not create "increment"/"table" value-generation container SEQUENCE_TABLE since autoCreate flags do not allow it. 오류발생시 조치사항 2017.05.03 705
32 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 2017.05.03 658
31 AIX 7.1에서 hive실행시 "hive: line 86: readlink: command not found" 오류가 발생시 임시 조치사항 2016.09.25 974
30 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 1044
29 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 2016.09.25 1379
28 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 923
쓰기 태그
위로