메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우

총관리자 2018.09.20 10:38 조회 수 : 229

hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.

mapreduce.map.memory.mb의 75%정도를 지정해준다.


reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.



-----오류내용----------------

Error: java.lang.RuntimeException: java.lang.OutOfMemoryError

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
381 sendmail + dovecot(pop3) + saslauthd 설치 총관리자 2017.06.11 209
380 [Jsoup]특정페이지를 jsoup을 이용하여 파싱하는 샘플소스 총관리자 2017.04.18 210
379 [shellscript] 함수에 배열을 인자로 주어서 처리하는 방법 총관리자 2019.07.16 210
378 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 총관리자 2018.04.15 212
377 숭실대 교수님등 강의영상(바이오데이터마이닝, 빅데이터분산컴퓨팅, 컴퓨터 그래픽스, 데이터베이스응용및 프로그램밍, 데이터베이스, 의생명영상처리, 웹그로그래밍, 데이터마이닝, 컴퓨터구조) file 총관리자 2017.06.13 213
376 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 총관리자 2017.10.12 215
375 우분투 서버에 GUI로 접속하기 file 총관리자 2018.05.27 218
374 AIX 7.1에 Hadoop설치(정리중#2) 총관리자 2016.09.20 219
373 /etc/logrotate.d 을 이용한 catalina.out 나누기 file 총관리자 2017.01.19 221
372 프로그래밍 언어별 딥러닝 라이브러리 정리 file 총관리자 2016.10.05 222
371 [sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법 총관리자 2018.10.16 222
370 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 총관리자 2017.10.12 223
369 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 총관리자 2022.03.17 226
368 [shell script] 파일을 한줄씩 읽어서 파일내용으로 명령문 만들고 실행하는 shell script예제 총관리자 2017.02.21 227
367 [postgresql 9.x] PostgreSQL Replication 구축하기 총관리자 2018.07.17 229
» Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 총관리자 2018.09.20 229
365 Cloudera설치중에 "Error, CM server guid updated"오류 발생시 조치방법 총관리자 2018.03.29 230
364 impala테이블 쿼리시 max_row_size 관련 오류가 발생할때 조치사항 총관리자 2020.02.12 230
363 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 총관리자 2015.04.30 231
362 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 총관리자 2022.05.02 233
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로