Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.
mapreduce.map.memory.mb의 75%정도를 지정해준다.
reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.
-----오류내용----------------
Error: java.lang.RuntimeException: java.lang.OutOfMemoryError
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| » | Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 | 2018.09.20 | 654 |
| 6 | 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 | 2019.06.14 | 594 |
| 5 | A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 | 2020.05.06 | 605 |
| 4 | W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 | 2020.05.08 | 2217 |
| 3 | missing block및 관련 파일명 찾는 명령어 | 2021.02.20 | 328 |
| 2 | hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) | 2022.01.07 | 405 |
| 1 | [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 | 2023.11.01 | 121 |