메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치

총관리자 2018.09.20 10:34 조회 수 : 1758

mapreduce.map.memory.mb는 hadoop에서 mapper에 할당할 수 있는 최대 메모리 제한 값이며 default는 512임, 이 제한값이 초과되면 아래의 오류가 발생되면 hadoop은 mapper를 kill시킨다.

------------------------오류내용----------------

Container[pid=container_1406552545451_0009_01_000002,containerID=container_234132_0001_01_000001] is running beyond physical memory limits. Current usage: 569.1 MB of 512 MB physical memory used; 970.1 MB of 1.0 GB virtual memory used. Killing container.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
130 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 19290
129 mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 2017.05.04 17060
128 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 2013.03.11 14837
127 drop table로 삭제했으나 tablet server에는 여전히 존재하는 테이블 삭제방법 2021.07.09 7941
126 [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 2018.01.03 6059
125 HBase shell로 작업하기 2013.03.15 5924
124 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 2013.03.15 5687
123 Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) file 2013.03.07 4063
122 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 2015.05.05 3845
121 HBase 설치하기 – Fully-distributed 2013.03.12 3792
120 HBASE Client API : 기본 기능 정리 file 2013.04.01 3696
119 hadoop및 ecosystem에서 사용되는 명령문 정리 2014.05.28 3660
118 Hbase Shell 명령 정리 2013.04.01 3300
117 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 3223
116 이클립스에서 생성한 jar 파일 hadoop 으로 실행하기 file 2013.03.06 3015
115 org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="":root:supergroup:rwxr-xr-x 오류 처리방법 2014.07.05 2929
114 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 2013.03.15 2876
113 mysql-server 기동시 Do you already have another mysqld server running on port 오류 발생할때 확인및 조치방법 2017.05.14 2853
112 banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 file 2014.07.05 2819
111 HBase 설치하기 – Pseudo-distributed file 2013.03.12 2819
쓰기 태그
위로