메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


HDFS [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법

gooper 2023.07.17 15:05 조회 수 : 107

HDFS파일을 삭제후 .Trash에 들어가고 1일후 flush out되었으나 여전히 HDFS 공간을 차지하고 있는 경우가 있는데 이는 해당 폴더의 상위 폴더에 snapshot이 정책이 설정되어 있고 snapshot파일이 아직 삭제되지 않았기 때문이다. 

Trash폴더의 데이터를 확인해보면(sudo -u hdfs hdfs dfs -ls /user/gooper/.Trash) 데이터 목록이 보이지 않는데 이는 Trash비움 시간이 지났기 때문에 지원진것이다. 

이때, sudo -u hdfs hdfs dfs -du /user/gooper/.Trash로 확인하면 용량이 그대로 확인되는 경우가 있는데 이는 상위폴더(예, /user)가 snapshot대상으로 설정되어 있으며 .Trash 폴더를 비우기전의 데이터가 snapshot되었고 snapshot파일이 삭제되지 않고 남아 있기 때문이다. (필요시 snapshot파일을 이용하여 이전 상태로 되돌려야 하는 경우를 대비하여 파일을 보관하고 있는것이다)

이때는 CM->Clusters->HDFS->File Browser에서 해당 폴더로 이동하여 우측 중간에 있는 Snapshots목록에서 삭제해주면 바로 HDFS공간이 확보되는것을 확인할 수 있다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
741 [Ranger]RangerAdminRESTClient Error gertting pplicies; Received NULL response!!, secureMode=true, user=rangerkms/node01.gooper.com@ GOOPER.COM (auth:KERBEROS), serviceName=cm_kms 2023.06.27 73
740 [vue storefrontui]외부 API통합하기 참고 문서 2022.02.09 80
739 [Encryption Zone]Encryption Zone에 생성된 table을 select할때 HDFS /tmp/zone1에 대한 권한이 없는 경우 2023.06.29 83
738 ./gradlew :composeDown 및 ./gradlew :composeUp 를 성공했을때의 메세지 2023.02.20 84
737 [EncryptionZone]User:testuser not allowed to do "DECRYPT_EEK" on 'testkey' 2023.06.29 89
736 [vi] test.nq파일에서 특정문자열(예, <>)을 찾아서 포함되는 라인을 삭제한 동일한 이름의 파일을 만드는 방법 2017.01.25 98
735 CM의 Impala->Query tab에서 FINISHED query가 보이지 않는 현상 2021.08.31 98
734 [Impala] alter table구문수행시 "WARNINGS: Impala does not have READ_WRITE access to path 'hdfs://nameservice1/DATA/Temp/DB/source/table01_ccd'" 발생시 조치 2024.04.26 98
733 restaurant-controller,에서 등록 예시 2022.04.30 99
732 주문히스토리 조회 2022.04.30 99
731 [Hue metadata]Oracle에 있는 Hue 메타정보 테이블을 이용하여 coordinator와 workflow관계 목록을 추출하는 방법 2023.08.22 99
730 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. 2022.05.16 103
729 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 2023.07.26 103
» [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 2023.07.17 107
727 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 2024.01.15 110
726 주문 생성 데이터 예시 2022.04.30 112
725 호출 url현황 2023.02.21 112
724 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 113
723 eclipse 3.1 단축키 정리파일 2017.01.02 117
722 Cloudera Manager 5.x설치시 embedded postgresql를 사용하는 경우의 관리정보 2018.04.13 118
쓰기 태그
위로