메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop missing block및 관련 파일명 찾는 명령어

총관리자 2021.02.20 14:30 조회 수 : 320

kinit -kt /var/lib/keytab/hdfs.keytab hdfs


hdfs fsck / -list-corruptfileblocks



수행결과 : 

Connecting to namenode via http://namenode01.gooper.com:9870/fsck?ugi=hadoop&listcorruptfileblocks=1&path=%2F

The list of corrupt files under path '/' are:

blk_1073743651 /test/hdfs/test_terasort/pat-r-00196

The filesystem under path '/' has 1 CORRUPT files


조치하는 2가지 방법

### 1. /lost+found 디렉터리로 corrupt 파일 이동

$ hdfs fsck / -move


### 2. corrupt 파일 삭제

$ hdfs fsck / -delete



이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
130 [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 2023.11.01 116
129 kudu의 내부 table명 변경하는 방법 2022.11.10 577
128 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 2022.01.07 386
127 tablet별 disk사용량 확인하는 방법 2021.08.27 418
126 drop table로 삭제했으나 tablet server에는 여전히 존재하는 테이블 삭제방법 2021.07.09 7937
125 [Kudu] tablet server 혹은 kudu master가 어떤 원인에 의해서 replica가 failed상태인 경우 복구하는 방법 2021.05.24 472
» missing block및 관련 파일명 찾는 명령어 2021.02.20 320
123 W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 2020.05.08 2215
122 A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 2020.05.06 587
121 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 2019.06.14 555
120 Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 2018.09.20 632
119 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 1755
118 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 1085
117 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 321
116 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 1487
115 hadoop 클러스터 실행 스크립트 정리 2018.03.20 697
114 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 186
113 update 샘플 2018.03.12 1002
112 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 2018.01.25 450
111 [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 2018.01.03 6046
쓰기 태그
위로