메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다.

총관리자 2019.05.20 13:56 조회 수 : 210

하둡클러스터의 노드를 재기동하는등의 작업을 수행한후에는 hadoop계정으로 invalidate metadata를 수행해줘야 메티정보가 갱신되어 정상적으로 데이터가 사용된다.

invalidate metadata 이전과 이후의 테이블의 카운트를 수행해보면 두개의 결과 값이 다를 수 있으므로 invalidate metadata를 수행하여 최신의 정보로 meta데이터를 갱신하도록 해주어야할 필요가 있다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
141 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 1165
140 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 2018.01.16 1167
139 Hive Query Examples from test code (1 of 2) 2014.03.26 1176
138 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 2014.09.25 1193
137 json serde사용법 2014.04.17 1196
136 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1199
135 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1243
134 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1245
133 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 1246
132 sequence한 번호 생성방법 2014.04.25 1256
131 json으로 존재하는 데이터 parsing하기 2019.03.25 1258
130 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 1281
129 [kubernetes]우분투 Kubernetes 설치 방법 file 2019.07.24 1287
128 zookeeper 3.4.6 설치(3대) 2015.04.28 1298
127 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 2016.09.25 1299
126 external partition table생성및 data확인 2014.04.03 1303
125 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 2017.05.01 1309
124 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 1320
123 json 값 다루기 2014.04.17 1331
122 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 2014.04.23 1339
쓰기 태그
위로