메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop missing block및 관련 파일명 찾는 명령어

총관리자 2021.02.20 14:30 조회 수 : 328

kinit -kt /var/lib/keytab/hdfs.keytab hdfs


hdfs fsck / -list-corruptfileblocks



수행결과 : 

Connecting to namenode via http://namenode01.gooper.com:9870/fsck?ugi=hadoop&listcorruptfileblocks=1&path=%2F

The list of corrupt files under path '/' are:

blk_1073743651 /test/hdfs/test_terasort/pat-r-00196

The filesystem under path '/' has 1 CORRUPT files


조치하는 2가지 방법

### 1. /lost+found 디렉터리로 corrupt 파일 이동

$ hdfs fsck / -move


### 2. corrupt 파일 삭제

$ hdfs fsck / -delete



이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
130 [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 2023.11.01 121
129 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 122
128 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 134
127 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 152
126 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 158
125 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 163
124 org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException 오류시 조치사항 2016.07.14 166
123 테이블의 row수를 빠르게 카운트 하는 방법 2017.01.26 176
122 hbase startrow와 endrow를 지정하여 검색하기 샘플 2016.12.07 185
121 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 185
120 HBase write 성능 튜닝 file 2017.07.18 186
119 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 188
118 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 202
117 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 2016.09.24 220
116 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 233
115 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 2016.04.14 244
114 HBase 설정 최적화하기(VCNC) file 2017.07.18 248
113 format된 namenode를 다른 서버에서 다시 format했을때 오류내용 2016.09.22 263
112 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 310
111 mongodb 2.6.6 설치(64bit) 2015.09.30 324
쓰기 태그
위로