Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.
1. 폴더 사용용량을 확인한다.
du -h --max-depth=1로 폴더별 사용량을 확인한다.
2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.
(주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을
삭제하여준다.)
cat /dev/null > aaa.log (aaa.log파일에 내용만 지우는 방법)
* 참고 : 각 서버의 HDD사용용량(예시)
----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K ./lost+found
317M ./data
21G ./logs
5.3G ./svc
----------------gsda2---------------------
root@gsda2:/# du -h --max-depth=1
4.0K ./lost+found
3.5G ./data
9.2G ./logs
7.0G ./svc
----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K ./lost+found
3.4G ./data
22G ./logs
3.8G ./svc
----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K ./lost+found
3.2G ./data
483M ./logs
4.8G ./svc
댓글 0
번호 | 제목 | 날짜 | 조회 수 |
---|---|---|---|
161 | mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 | 2015.12.22 | 513 |
160 | console명령과 API비교 | 2015.12.21 | 484 |
159 | java quartz 시간 설정 참고사항 | 2015.12.16 | 300 |
158 | 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 | 2015.12.16 | 191 |
157 | 대표 오픈소스 라이선스, 한 눈에 보기! | 2015.12.10 | 226 |
156 | sparql 문법구조 설명 | 2015.12.09 | 490 |
155 | git설명 한글판 | 2015.12.09 | 440 |
154 | protege 4.3 다운로드 | 2015.12.09 | 227 |
153 | ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 | 2015.12.08 | 490 |
152 | 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 | 2015.12.01 | 1546 |
151 | sparql에서 concat에제 | 2015.11.27 | 238 |
150 | Runtime.getRuntime().exec(cmd) sample 소스 | 2015.11.19 | 359 |
149 | Resource temporarily unavailable(자원이 일시적으로 사용 불가능함) 오류조치 | 2015.11.19 | 7708 |
148 | mybais #과 $의 차이점 | 2015.11.10 | 460 |
147 | Mybatis foreach 문법정리(상황에 따른 사용법) | 2015.11.10 | 1465 |
146 | DB별 JDBC 드라이버 | 2015.10.02 | 468 |
145 | root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) | 2015.10.02 | 554 |
144 | SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. | 2015.09.30 | 327 |
143 | mongodb 2.6.6 설치(64bit) | 2015.09.30 | 324 |
142 | pom.xml에서 build.gradle로 변환 | 2015.09.14 | 311 |