메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치

총관리자 2018.09.20 10:34 조회 수 : 1758

mapreduce.map.memory.mb는 hadoop에서 mapper에 할당할 수 있는 최대 메모리 제한 값이며 default는 512임, 이 제한값이 초과되면 아래의 오류가 발생되면 hadoop은 mapper를 kill시킨다.

------------------------오류내용----------------

Container[pid=container_1406552545451_0009_01_000002,containerID=container_234132_0001_01_000001] is running beyond physical memory limits. Current usage: 569.1 MB of 512 MB physical memory used; 970.1 MB of 1.0 GB virtual memory used. Killing container.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
67 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 19290
66 mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 2017.05.04 17060
65 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 2013.03.11 14837
64 [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 2018.01.03 6059
63 Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) file 2013.03.07 4063
62 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 2015.05.05 3845
61 hadoop및 ecosystem에서 사용되는 명령문 정리 2014.05.28 3660
60 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 3223
59 이클립스에서 생성한 jar 파일 hadoop 으로 실행하기 file 2013.03.06 3015
58 org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="":root:supergroup:rwxr-xr-x 오류 처리방법 2014.07.05 2929
57 banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 file 2014.07.05 2819
56 hadoop 설치(3대) file 2013.03.07 2688
55 Cacti로 Hadoop 모니터링 하기 file 2013.03.12 2504
54 hadoop설치시 오류 2013.12.18 2497
53 메이븐 (maven) 설치 및 이클립스 연동하기 file 2013.03.06 2489
52 hadoop설치시 참고사항 2013.03.08 2292
51 W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 2020.05.08 2215
50 Hadoop 설치 및 시작하기 file 2013.03.06 2076
49 Hadoop wordcount 소스 작성 file 2013.03.06 2066
48 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 1835
쓰기 태그
위로