메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우

총관리자 2018.09.20 10:38 조회 수 : 654

hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.

mapreduce.map.memory.mb의 75%정도를 지정해준다.


reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.



-----오류내용----------------

Error: java.lang.RuntimeException: java.lang.OutOfMemoryError

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
501 Kafka의 API중 Consumer.createJavaConsumerConnector()를 이용하고 다수의 thread를 생성하여 Kafka broker의 topic에 접근하여 데이타를 가져오고 처리하는 예제 소스 2017.04.26 347
500 ntp시간 맞추기 2018.09.12 351
499 MongoDB에 있는 특정컬럼의 값을 casting(string->integer)하여 update하기 java 소스 2016.12.19 356
498 [MemoryLeak분석]다수의 MongoCleaner 쓰레드가 Sleep상태에 있으면서 Full GC가 계속 발생되는 문제 해결방법 file 2017.01.11 356
497 Runtime.getRuntime().exec(cmd) sample 소스 2015.11.19 359
496 How-to: Build a Complex Event Processing App on Apache Spark and Drools file 2016.10.31 360
495 Cloudera가 사용하는 서비스별 디렉토리 2018.03.29 360
494 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 표시하고 ?a!=?b 인경우는 ""로 구성된 결과 집합을 구하는 경우 file 2016.01.29 361
493 Collections.sort를 이용한 List<Map<String, String>>형태의 데이타 정렬 소스 2016.12.15 361
492 gradle을 이용하여 jar파일 생성시 provided속성을 지정할 수 있게 설정하는 방법 2016.08.09 362
491 kafka 0.9.0.1버젼의 producer와 kafka버젼이 0.10.0.1인 consumer가 서로 대화하는 모습 2016.08.18 362
490 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 2015.05.08 363
489 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 2021.11.03 368
488 journalnode노드 기동시 "should be an absolute path"가 발생하고 기동되지 않을 경우 확인사항 2016.09.22 369
487 [Dovecot] -ERR [SYS/PERM] Permission denied 2017.06.13 369
486 centos에 sbt 0.13.5 설치 2016.05.30 370
485 CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. 2016.03.14 372
484 SPARQL의 유형, SPARQL 만들기등에 대한 설명 2016.02.18 373
483 [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. 2022.06.10 373
482 특정 단계의 commit상태로 만들기(이렇게 하면 중간에 반영된 모든 commit를 history가 삭제된다) 2016.11.17 377
쓰기 태그
위로