메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark-shell등이나 spark어플리케이션을 실행할때 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"라는 warnning이 발생되면서 어플리케이션이 수행되지 않고 대기하고 http://sda1:8123하였을때 "Cores in use: 40 Total,40 Used"으로 core를 모두 사용하고 있고, "Running Application"s의 status가 WAITING인 상황이 발생한다.

이때 아래의 설정값을 conf/spark-env.conf에 지정하여 어플리케이션에서 사용할 수 있는 core와 memory를 제한하도록 설정한다.


   export SPARK_WORKER_INSTANCES=4(일반적으로 1로 지정할것)

   export SPARK_WORKER_MEMORY=5000m

   export SPARK_WORKER_CORES=10

   export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=3"


==> 위에 옵션은 start-all.sh할때 각서버에 worker가 4개씩 기동하며 각 worker당 최대사용가능한 core수 10개, 메모리는 5000m씩 사용하게 된다. 특히 SPARK_MASTER_OPTS을 지정하면 어플리케이션에서 사용가능한(예시에서는 3개) core의 수를 제한하게 되어 다른 어플리케이션이 resource를 사용할 수 있는 여유가 생기게 된다. 하지만 stop-all.sh로 중지시키면 서버당 4개씩 기동된 Worker를 모두 중지시켜 주지못하는 문제점이 있다.


-----------------------------WARN내용----------------------------------

16/05/24 18:29:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

번호 제목 날짜 조회 수
367 json으로 존재하는 데이터 parsing하기 2019.03.25 4848
366 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 4846
365 hadoop설치시 참고사항 2013.03.08 4846
364 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 4842
363 Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 2023.05.19 4840
362 hue db에서 사용자가 가지는 정보 확인 2020.02.10 4840
361 임시 테이블에서 데이터를 읽어서 partitioned table에 입력하는 impala SQL문 예시 2023.11.10 4830
360 hadoop 클러스터 실행 스크립트 정리 2018.03.20 4814
359 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 4813
358 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 2017.06.30 4811
357 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 4802
356 hbase에 필요한 jar들 2013.04.01 4800
355 Hadoop 설치 및 시작하기 file 2013.03.06 4776
354 [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항 2023.03.10 4773
353 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 2022.03.21 4766
352 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 4749
351 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 2022.03.17 4735
350 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 4716
349 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 2019.06.14 4705
348 Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 4699
위로