메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우

총관리자 2018.09.20 10:38 조회 수 : 654

hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.

mapreduce.map.memory.mb의 75%정도를 지정해준다.


reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.



-----오류내용----------------

Error: java.lang.RuntimeException: java.lang.OutOfMemoryError

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
581 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 2015.12.22 511
580 fuseki에 update하는 방법(java api이용)및 주의 사항 2015.12.30 498
579 update(update와 delete->insert)사용시 주의/참고사항 2016.01.06 504
578 문자열을 숫자(integer)로 casting하기 2016.01.13 252
577 한번에 여러값 update하기 2016.01.13 337
576 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 299
575 sparql 1.1 BIND(if() as ?bind변수) 버그로 추정되는 문제점및 해결방안 -> select 문에 (if(,,) as ?bind변수) file 2016.01.21 379
574 null 혹은 ""를 체크하는 방법 2016.01.27 423
573 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 표시하고 ?a!=?b 인경우는 ""로 구성된 결과 집합을 구하는 경우 file 2016.01.29 361
572 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 196
571 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 210
570 SPARQL의 유형, SPARQL 만들기등에 대한 설명 2016.02.18 373
569 SPIN(SPARQL Inference Notation)이란.. file 2016.02.25 343
568 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 191
567 System Properties Comparison Elasticsearch vs. Hive vs. Jena file 2016.03.10 494
566 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 263
565 CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. 2016.03.14 372
564 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1199
563 bash는 PS1 변수를 통해 프롬프트의 모양을 바꿀 수 있다. 2016.03.30 565
562 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 3223
쓰기 태그
위로