메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우

총관리자 2018.06.01 11:33 조회 수 : 435

Cloudera Manager -> Spark의 선택메뉴에서 Create History Directory 메뉴를 실행시켜주면 관련 폴더를 생성하고 다시 기동시켜주면 정상적으로 기동된다.

------------------------------오류내용---------------------------------
Caused by: java.lang.IllegalArgumentException: Log directory specified does not exist: hdfs://nameservice/user/spark/applicationHistory.
at org.apache.spark.deploy.history.FsHistoryProvider.org$apache$spark$deploy$history$FsHistoryProvider$$startPolling(FsHistoryProvider.scala:199)
at org.apache.spark.deploy.history.FsHistoryProvider.initialize(FsHistoryProvider.scala:151)
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:147)
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:74)
... 6 more
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
341 kudu hms check 사용법(예시) 2021.10.22 442
340 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 2018.06.06 442
339 Eclipse 에서 bitbucket.org 연동 하기 file 2017.06.08 442
338 maven을 이용하여 Hello world 서비스 자동 생성시 HelloServiceImpl.java에서 사용하는 getMessage() 와 getName() 이 정의되지 않은 오류가 발생시 조치방법 2018.01.19 441
337 git설명 한글판 2015.12.09 440
336 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 2018.05.23 439
335 CentOS6에 python3.5.1 소스코드로 빌드하여 설치하기 2016.05.27 438
» spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 2018.06.01 435
333 우분투 16.04LTS에 Zeppelin 0.7.3설치 2018.04.18 435
332 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 2017.01.25 433
331 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 431
330 jena/fuseki 3.4.0 설치 2017.07.25 431
329 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 2018.05.23 429
328 cloudera서비스 중지및 기동순서 2020.02.14 428
327 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 2020.06.05 427
326 [sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법 2018.10.16 427
325 Cloudera가 사용하는 서비스별 포트 2018.03.29 427
324 부팅을 외장하드에서 하도록 변경하는 방법 2015.07.28 427
323 [Sentry] sentry메타 DB를 이용하여 테이블에 매핑되어 있는 role명칭 찾는 방법. 2022.06.22 426
322 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 2018.06.20 426
쓰기 태그
위로