메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop missing block및 관련 파일명 찾는 명령어

총관리자 2021.02.20 14:30 조회 수 : 4993

kinit -kt /var/lib/keytab/hdfs.keytab hdfs


hdfs fsck / -list-corruptfileblocks



수행결과 : 

Connecting to namenode via http://namenode01.gooper.com:9870/fsck?ugi=hadoop&listcorruptfileblocks=1&path=%2F

The list of corrupt files under path '/' are:

blk_1073743651 /test/hdfs/test_terasort/pat-r-00196

The filesystem under path '/' has 1 CORRUPT files


조치하는 2가지 방법

### 1. /lost+found 디렉터리로 corrupt 파일 이동

$ hdfs fsck / -move


### 2. corrupt 파일 삭제

$ hdfs fsck / -delete



이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
351 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 6189
350 Failed to write to server: (no server available): 2022.01.17 5136
349 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 2022.01.17 4899
348 not leader of this config: current role FOLLOWER 오류 발생시 확인방법 2022.01.17 4963
347 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 2022.01.14 5435
346 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 2022.01.12 5264
345 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 2022.01.07 6136
344 oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 2021.12.31 4735
343 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 5170
342 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 91434
341 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 2021.11.03 5140
340 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 2021.10.22 4859
339 kudu hms check 사용법(예시) 2021.10.22 5070
338 Hue Load Balancer를 L4로 L/B하는 경우는 L4쪽 도멘인으로 발행된 인증서를 TLS/SSL항목에 설정해주어야 한다. 2021.10.08 4748
337 TLS/SSl설정시 방법및 참고 사항 2021.10.08 5589
336 you are accessing a non-optimized hue please switch to one of the available addresses 2021.10.06 5156
335 CM의 Impala->Query tab에서 FINISHED query가 보이지 않는 현상 2021.08.31 5346
334 tablet별 disk사용량 확인하는 방법 2021.08.27 6898
333 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 4983
332 drop table로 삭제했으나 tablet server에는 여전히 존재하는 테이블 삭제방법 2021.07.09 11782
쓰기 태그
위로