메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우

총관리자 2018.09.20 10:38 조회 수 : 241

hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.

mapreduce.map.memory.mb의 75%정도를 지정해준다.


reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.



-----오류내용----------------

Error: java.lang.RuntimeException: java.lang.OutOfMemoryError

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
401 How-to: Build a Complex Event Processing App on Apache Spark and Drools file 총관리자 2016.10.31 261
400 centos에 sbt 0.13.5 설치 총관리자 2016.05.30 261
399 DB별 JDBC 드라이버 총관리자 2015.10.02 259
398 kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 총관리자 2015.03.31 258
397 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 총관리자 2018.01.25 256
396 우분투에서 패키지 설치시 E: Sub-process /usr/bin/dpkg returned an error code 발생시 조치 총관리자 2017.05.02 256
395 부팅을 외장하드에서 하도록 변경하는 방법 총관리자 2015.07.28 256
394 ntp시간 맞추기 총관리자 2018.09.12 255
393 [Dovecot] -ERR [SYS/PERM] Permission denied 총관리자 2017.06.13 253
392 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 총관리자 2018.05.23 252
391 Scala에서 countByWindow를 이용하기(예제) 총관리자 2018.03.08 252
390 AIX 7.1에서 hive실행시 "hive: line 86: readlink: command not found" 오류가 발생시 임시 조치사항 총관리자 2016.09.25 252
389 [우분투] suppoie 채굴 프로세스 발생시 자동으로 삭제하는 shell프로그램 총관리자 2018.04.01 250
388 Hbase API를 이용하여 scan시 페이징을 고려하여 목록을 가져올때 사용할 수 있는 로직의 예시를 보여줌 총관리자 2017.04.26 250
387 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 총관리자 2017.07.26 247
386 AIX 7.1에 Hadoop설치(정리중) 총관리자 2016.09.12 247
385 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 총관리자 2016.08.12 247
384 Kafka의 API중 Consumer.createJavaConsumerConnector()를 이용하고 다수의 thread를 생성하여 Kafka broker의 topic에 접근하여 데이타를 가져오고 처리하는 예제 소스 총관리자 2017.04.26 245
» Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 총관리자 2018.09.20 241
382 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. gooper 2022.05.30 239
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로