Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.
1. 폴더 사용용량을 확인한다.
du -h --max-depth=1로 폴더별 사용량을 확인한다.
2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.
(주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을
삭제하여준다.)
cat /dev/null > aaa.log (aaa.log파일에 내용만 지우는 방법)
* 참고 : 각 서버의 HDD사용용량(예시)
----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K ./lost+found
317M ./data
21G ./logs
5.3G ./svc
----------------gsda2---------------------
root@gsda2:/# du -h --max-depth=1
4.0K ./lost+found
3.5G ./data
9.2G ./logs
7.0G ./svc
----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K ./lost+found
3.4G ./data
22G ./logs
3.8G ./svc
----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K ./lost+found
3.2G ./data
483M ./logs
4.8G ./svc