메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Spark+S2RDF --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법

총관리자 2016.05.27 17:47 조회 수 : 287

아래와 같은 오류가 발생하면 yarn-site.xml의 yarn.scheduler.maximum-allocation-mb 와 yarn.nodemanager.resource.memory-mb값을 Required executor memory (14336+1433 MB)이상으로 잡아줘야 정상적으로 수행된다.


-------------------------------오류내용----------------------------------------------------------
Caused by: java.lang.IllegalArgumentException: Required executor memory (14336+1433 MB) is above the max threshold (12288 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
        at org.apache.spark.deploy.yarn.Client.verifyClusterResources(Client.scala:283)
        at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:139)
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:144)
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
221 impala 설치/설정 2016.06.03 1276
220 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 5371
219 Windows에서 sbt개발환경 구축 방법(링크) 2016.06.02 272
218 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 2016.06.02 316
217 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 816
216 centos에 sbt 0.13.5 설치 2016.05.30 810
215 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 1036
214 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 669
» --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 287
212 DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 2016.05.27 191
211 python 2.6.6에서 print 'A=' 형태의 사용이 python 3.5.1에서 오류(SyntaxError: Missing parentheses in call to 'print') 발생함.. 2016.05.27 601
210 python실행시 ValueError: zero length field name in format오류 해결방법 2016.05.27 935
209 S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함) [1] file 2016.05.27 181
208 CentOS6에 python3.5.1 소스코드로 빌드하여 설치하기 2016.05.27 792
207 RDF storage조합에대한 test결과(4store, Jena+HBase, Hive+HBase, CumulusRDF, Couchbase) 페이지 링크 2016.05.26 573
206 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 442
205 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 445
204 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1517
203 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 1150
202 Spark 1.6.1 설치후 HA구성 2016.05.24 1044
쓰기 태그
위로