Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
아래와 같은 오류가 발생하면 yarn-site.xml의 yarn.scheduler.maximum-allocation-mb 와 yarn.nodemanager.resource.memory-mb값을 Required executor memory (14336+1433 MB)이상으로 잡아줘야 정상적으로 수행된다.
-------------------------------오류내용----------------------------------------------------------
Caused by: java.lang.IllegalArgumentException: Required executor memory (14336+1433 MB) is above the max threshold (12288 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
at org.apache.spark.deploy.yarn.Client.verifyClusterResources(Client.scala:283)
at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:139)
at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:144)
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| 10 | S2RDF를 이용한 다른 버젼의 github링크 | 2016.12.02 | 524 |
| 9 | DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 | 2016.06.17 | 603 |
| 8 | 5건의 triple data를 이용하여 특정 작업 폴더에서 작업하는 방법/절차 | 2016.06.16 | 156 |
| 7 | queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 | 2016.06.16 | 939 |
| 6 | S2RDF를 실행부분만 추출하여 1건의 triple data를 HDFS에 등록, sparql을 sql로 변환, sql실행하는 방법및 S2RDF소스 컴파일 방법 | 2016.06.15 | 551 |
| 5 | S2RDF모듈의 실행부분만 추출하여 별도록 실행하는 방법(draft) | 2016.06.14 | 292 |
| » | --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 | 2016.05.27 | 306 |
| 3 | DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 | 2016.05.27 | 192 |
| 2 | python실행시 ValueError: zero length field name in format오류 해결방법 | 2016.05.27 | 958 |
| 1 |
S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함)
[1]  | 2016.05.27 | 206 |