메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Spark+S2RDF --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법

총관리자 2016.05.27 17:47 조회 수 : 219

아래와 같은 오류가 발생하면 yarn-site.xml의 yarn.scheduler.maximum-allocation-mb 와 yarn.nodemanager.resource.memory-mb값을 Required executor memory (14336+1433 MB)이상으로 잡아줘야 정상적으로 수행된다.


-------------------------------오류내용----------------------------------------------------------
Caused by: java.lang.IllegalArgumentException: Required executor memory (14336+1433 MB) is above the max threshold (12288 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
        at org.apache.spark.deploy.yarn.Client.verifyClusterResources(Client.scala:283)
        at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:139)
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:144)
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
38 거침없이 배우는 Drools 책의 샘플소스 file 2016.07.22 1369
37 drools를 이용한 로그,rule matching등의 테스트 java프로그램 file 2016.07.21 237
36 ServerInfo객체파일 2016.07.21 151
35 drools에서 drl관련 로그를 기록하기 위한 클래스 파일 2016.07.21 394
34 워킹 메모리에 대한 정보를 처리하는 클래스 파일 2016.07.21 443
33 커리 변경 이벤트를 처리하기 위한 구현클래스 2016.07.21 597
32 룰에 매칭되면 발생되는 엑티베이션 객체에 대한 작업(이전값 혹은 현재값)을 처리하는 클래스 파일 2016.07.21 346
31 실시간 쿼리 변환 모니터링(팩트내 필드값의 변경사항을 실시간으로 추적함)하는 테스트 java 프로그램 file 2016.07.21 149
30 Drools 6.0 - 비즈니스 룰 기반으로 간단한 룰 애플리케이션 만들기 file 2016.07.18 683
29 DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 2016.06.17 553
28 5건의 triple data를 이용하여 특정 작업 폴더에서 작업하는 방법/절차 2016.06.16 123
27 queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 2016.06.16 554
26 S2RDF를 실행부분만 추출하여 1건의 triple data를 HDFS에 등록, sparql을 sql로 변환, sql실행하는 방법및 S2RDF소스 컴파일 방법 2016.06.15 492
25 S2RDF모듈의 실행부분만 추출하여 별도록 실행하는 방법(draft) 2016.06.14 212
» --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 219
23 DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 2016.05.27 141
22 python실행시 ValueError: zero length field name in format오류 해결방법 2016.05.27 526
21 S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함) [2] file 2016.05.27 135
20 RDF storage조합에대한 test결과(4store, Jena+HBase, Hive+HBase, CumulusRDF, Couchbase) 페이지 링크 2016.05.26 276
19 solrdf초기 기동시 "Caused by: java.lang.IllegalAccessError: tried to access field org.apache.solr.handler.RequestHandlerBase.log from class org.gazzax.labs.solrdf.handler.update.RdfUpdateRequestHandler" 오류가 발생시 조치사항 2016.04.22 336
쓰기 태그
위로