메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다.

총관리자 2019.05.20 13:56 조회 수 : 209

하둡클러스터의 노드를 재기동하는등의 작업을 수행한후에는 hadoop계정으로 invalidate metadata를 수행해줘야 메티정보가 갱신되어 정상적으로 데이터가 사용된다.

invalidate metadata 이전과 이후의 테이블의 카운트를 수행해보면 두개의 결과 값이 다를 수 있으므로 invalidate metadata를 수행하여 최신의 정보로 meta데이터를 갱신하도록 해주어야할 필요가 있다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
121 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 210
» 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다. 2019.05.20 209
119 fuseki의 endpoint를 이용한 insert, delete하는 sparql예시 2018.02.14 208
118 파일은 남겨두고 파일 내용만 지우고자 할 때. 2017.08.30 205
117 eclipse editor 설정방법 2022.02.01 203
116 [Elephas] Jena Elephas를 이용하여 Spark에서 rdfTriples의 RDD를 만들고 RDD관련 작업하는 샘플소스 2016.08.10 203
115 oneM2M Specification(Draft Release 3, 2, 1), Draft Technical Reports 2017.10.25 202
114 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 202
113 jdk 9이상 사용하려면 repository를 아래와 같이 지정해야한다. 2019.06.02 198
112 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 196
111 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 196
110 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 195
109 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 191
108 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 2015.12.16 191
107 슬라이딩 윈도우 예제 2016.07.28 190
106 특정 커밋 시점(commit id를 기준으로)으로 돌리기(reset) 2016.11.21 189
105 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 188
104 파일명 혹은 확장자 일괄 변경하는 방법 2017.01.26 188
103 HBase write 성능 튜닝 file 2017.07.18 186
102 http://blog.naver.com... 2017.06.23 186
쓰기 태그
위로