메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우

총관리자 2018.09.20 10:38 조회 수 : 649

hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.

mapreduce.map.memory.mb의 75%정도를 지정해준다.


reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.



-----오류내용----------------

Error: java.lang.RuntimeException: java.lang.OutOfMemoryError

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
130 [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 2023.11.01 120
129 kudu의 내부 table명 변경하는 방법 2022.11.10 644
128 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 2022.01.07 398
127 tablet별 disk사용량 확인하는 방법 2021.08.27 455
126 drop table로 삭제했으나 tablet server에는 여전히 존재하는 테이블 삭제방법 2021.07.09 7941
125 [Kudu] tablet server 혹은 kudu master가 어떤 원인에 의해서 replica가 failed상태인 경우 복구하는 방법 2021.05.24 473
124 missing block및 관련 파일명 찾는 명령어 2021.02.20 327
123 W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 2020.05.08 2215
122 A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 2020.05.06 603
121 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 2019.06.14 591
» Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 2018.09.20 649
119 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 1758
118 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 1085
117 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 324
116 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 1487
115 hadoop 클러스터 실행 스크립트 정리 2018.03.20 698
114 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 188
113 update 샘플 2018.03.12 1029
112 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 2018.01.25 489
111 [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 2018.01.03 6059
쓰기 태그
위로