메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


HDFS [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법

gooper 2023.07.17 15:05 조회 수 : 107

HDFS파일을 삭제후 .Trash에 들어가고 1일후 flush out되었으나 여전히 HDFS 공간을 차지하고 있는 경우가 있는데 이는 해당 폴더의 상위 폴더에 snapshot이 정책이 설정되어 있고 snapshot파일이 아직 삭제되지 않았기 때문이다. 

Trash폴더의 데이터를 확인해보면(sudo -u hdfs hdfs dfs -ls /user/gooper/.Trash) 데이터 목록이 보이지 않는데 이는 Trash비움 시간이 지났기 때문에 지원진것이다. 

이때, sudo -u hdfs hdfs dfs -du /user/gooper/.Trash로 확인하면 용량이 그대로 확인되는 경우가 있는데 이는 상위폴더(예, /user)가 snapshot대상으로 설정되어 있으며 .Trash 폴더를 비우기전의 데이터가 snapshot되었고 snapshot파일이 삭제되지 않고 남아 있기 때문이다. (필요시 snapshot파일을 이용하여 이전 상태로 되돌려야 하는 경우를 대비하여 파일을 보관하고 있는것이다)

이때는 CM->Clusters->HDFS->File Browser에서 해당 폴더로 이동하여 우측 중간에 있는 Snapshots목록에서 삭제해주면 바로 HDFS공간이 확보되는것을 확인할 수 있다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
721 Cloudera Manager 5.x설치시 embedded postgresql를 사용하는 경우의 관리정보 2018.04.13 119
720 [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 2023.11.01 120
719 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 122
718 5건의 triple data를 이용하여 특정 작업 폴더에서 작업하는 방법/절차 2016.06.16 123
717 magento2 설치후 초기화면이 깨지는 문제 file 2017.01.31 123
716 [kerberos]Kerberos HA구성 참고 페이지 2022.08.31 123
715 magento2 샘플데이타 설치 2017.01.31 124
714 [Kerberos]병렬 kinit 호출시 cache파일이 손상되어 Bad format in credentials cache 혹은 No credentials cache found 혹은 Internal credentials cache error 오류 발생시 2023.01.20 125
713 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 126
712 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 2022.04.30 126
711 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 2022.04.14 127
710 core 'gc_shard3_replica2' is already locked라는 오류가 발생할때 조치사항 2017.09.14 130
709 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 131
708 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 131
707 webid에서 google처럼 검색할 수 있도록 하는 프로그램 2017.05.16 133
706 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 133
705 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 133
704 S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함) [2] file 2016.05.27 135
703 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 2022.01.14 135
702 vuestorefrontui.io를 이용한 front end project 생성하기 2022.02.06 135
쓰기 태그
위로