메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node 오류시 조치방법

총관리자 2017.04.06 13:50 조회 수 : 2185

아래의 원인으로 hadoop application실행의 전체 실행시간이 지연되는 경우는 HDD의 용량을 확인해서 불필요한 파일을 정리하여 HDD공간을 확보(최상위 위치(/)에서 du -sh * 명령을 주면 현재 폴더별로 용량을 보여준다.)한 후 재작업하면 정상적으로 처리된다.


1. hadoop application실행시 map, reduce attempt의 일부가 kill된다.

2. attempt의 kill원인이 "TaskAttempt killed because it ran on unusable nodes sda20:41071 Container released on a *lost* node"이거나 "Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node sda20:41071", "Reducer preempted to make room for pending map attempts"등이 표시된다.

3. jps등으로 프로세스를 확인했을때 nodemanager, datanode등은 이상없이 작동된다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
» Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node 오류시 조치방법 2017.04.06 2185
186 streaming작업시 입력된 값에 대한 사본을 만들게 되는데 이것이 실패했을때 발생하는 경고메세지 2017.04.03 1875
185 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 2017.03.30 1032
184 kafka-manager 1.3.3.4 설정및 실행하기 2017.03.20 3267
183 spark 2.0.0의 api를 이용하는 예제 프로그램 2017.03.15 1379
182 It is indirectly referenced from required .class files 오류 발생시 조치방법 2017.03.09 2276
181 spark2.0.0에서 hive 2.0.1 table을 읽어 출력하는 예제 소스(HiveContext, SparkSession, SQLContext) 2017.03.09 1369
180 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 2982
179 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 1945
178 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 2017.02.03 2025
177 테이블의 row수를 빠르게 카운트 하는 방법 2017.01.26 1057
176 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 2017.01.25 1304
175 [JSON 파싱]mongodb의 document를 GSON을 이용하여 parsing할때 ObjectId값에서 오류 발생시 조치방법 2017.01.18 2659
174 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 2017.01.12 1796
173 new Gson().toJson(new ObjectId())을 사용하면 값이 다르게 나오는 경우가 있음 2016.12.23 1956
172 like검색한 결과를 기준으로 집계를 수행하는 java 소스 2016.12.19 2324
171 MongoDB에 있는 특정컬럼의 값을 casting(string->integer)하여 update하기 java 소스 2016.12.19 2386
170 mongodb aggregation query를 Java code로 변환한 샘플 2016.12.15 2593
169 ResultSet에서 데이타를 List<Map<String,String>>형태로 만들어서 리턴하는 소스(Collections.sort를 이용한 정렬 가능) 2016.12.15 2554
168 hbase startrow와 endrow를 지정하여 검색하기 샘플 2016.12.07 1019
쓰기 태그
위로