메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다.

총관리자 2019.05.20 13:56 조회 수 : 207

하둡클러스터의 노드를 재기동하는등의 작업을 수행한후에는 hadoop계정으로 invalidate metadata를 수행해줘야 메티정보가 갱신되어 정상적으로 데이터가 사용된다.

invalidate metadata 이전과 이후의 테이블의 카운트를 수행해보면 두개의 결과 값이 다를 수 있으므로 invalidate metadata를 수행하여 최신의 정보로 meta데이터를 갱신하도록 해주어야할 필요가 있다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
141 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 233
140 컴퓨터 무한 재부팅 원인및 조치방법 file 2017.12.05 231
139 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 230
138 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 2022.07.14 227
137 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 226
136 대표 오픈소스 라이선스, 한 눈에 보기! 2015.12.10 225
135 protege 4.3 다운로드 2015.12.09 224
134 LUBM 데이타 생성구문 2017.07.24 221
133 How-to: Tune Your Apache Spark Jobs (Part 2) file 2016.10.31 221
132 failed to read local state, exiting...오류발생시 조치사항 2016.04.06 221
131 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 2016.09.24 220
130 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 2016.08.11 220
129 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 218
128 kudu rebalance수행 command예시 2022.01.17 217
127 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 2018.04.20 216
126 LUBM 개수별 hadoop HDFS data사이즈 정리 2017.04.06 213
125 S2RDF모듈의 실행부분만 추출하여 별도록 실행하는 방법(draft) 2016.06.14 212
124 [TLS]pkcs12형식의 인증서 생성및 jks형식 인증서 생성 커맨드 예시 2022.03.15 210
123 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 2017.03.30 210
122 service name방식의 oracle을 메타정보 저장소로 사용할때 Hue Configuration설정하는 방법 2022.02.12 209
쓰기 태그
위로