Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1. sudo -u hdfs kinit -kt /var/lib/keytab/hdfs.keytab hdfs
2. block정보 백업
sudo -u hdfs hdfs fsck / -files -blocks -locations > nn_backup_20200205/dfs-old-fsck-1.log
3. namenode를 safemode로 전환
sudo -u hdfs hdfs dfsadmin -safemode enter
4. namespace저장
sudo -u hdfs hdfs dfsadmin -saveNamespace
5. namenode저장소의 데이터 백업
(dfs.namenode.name.dir 설정에 /data1/dfs/nn 형태의 namenode 데이터 저장소를 알수 있음)
sudo cp -r /data1/dfs/nn /home/hadoop/nn_backup_20200205/data1-dfs-nn
6. safemode 해제
sudo -u hdfs hdfs dfsadmin -safemode leave
* 복구방법
위에 백업해둔 데이터인 /home/hadoop/nn_backup_20200205/data1-dfs-nn를 그대로 /data1/dfs/nn에 복사해주고 namenode를 재시작 해주면 됨
* fsimage를 이용한 복구방법
가. VERSION과 fsimage파일을 원위치로 복사
cp /home/hadoop/nn_backup-20200205/fsimage-dir/fsimage_00000000000581155082 /data1/dfs/nn/current
나.해당 위치로 이동
cd /data1/dfs/nn/current
다. md5파일 생성
sudo -u hdfs md5sum fsimage_00000000000581155082 > fsimage_00000000000581155082.md5
라. namenode프로세스 재기동
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| 161 | mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 | 2015.12.22 | 512 |
| 160 | console명령과 API비교 | 2015.12.21 | 484 |
| 159 | java quartz 시간 설정 참고사항 | 2015.12.16 | 300 |
| 158 | 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 | 2015.12.16 | 191 |
| 157 | 대표 오픈소스 라이선스, 한 눈에 보기! | 2015.12.10 | 226 |
| 156 |
sparql 문법구조 설명
 | 2015.12.09 | 490 |
| 155 | git설명 한글판 | 2015.12.09 | 440 |
| 154 | protege 4.3 다운로드 | 2015.12.09 | 227 |
| 153 | ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 | 2015.12.08 | 490 |
| 152 | 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 | 2015.12.01 | 1546 |
| 151 | sparql에서 concat에제 | 2015.11.27 | 238 |
| 150 | Runtime.getRuntime().exec(cmd) sample 소스 | 2015.11.19 | 359 |
| 149 | Resource temporarily unavailable(자원이 일시적으로 사용 불가능함) 오류조치 | 2015.11.19 | 7708 |
| 148 | mybais #과 $의 차이점 | 2015.11.10 | 460 |
| 147 | Mybatis foreach 문법정리(상황에 따른 사용법) | 2015.11.10 | 1465 |
| 146 | DB별 JDBC 드라이버 | 2015.10.02 | 467 |
| 145 | root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) | 2015.10.02 | 552 |
| 144 | SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. | 2015.09.30 | 327 |
| 143 | mongodb 2.6.6 설치(64bit) | 2015.09.30 | 324 |
| 142 | pom.xml에서 build.gradle로 변환 | 2015.09.14 | 310 |