메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임

총관리자 2018.06.20 14:22 조회 수 : 924

cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임.
/etc/spark/conf에 있는 환경정보를 확인하면 아래와 같은 부분을 찾아볼 수 있다.
spark.master=yarn-client

그래서 아래와 같은 오류 메세지가 보인다면 standalone모드로 spark-shell를 실행하고 있다는 의미이며 이는 cloudera가 설치한 설정정보들을 읽지 않고 다른 spark프로그램(기존에 설치된 spark2.x같은)이 설정한 정보나 프로그램을 이용하고 있다고 볼수 있다.(기존 프로그램을 돌리기 위한 환경설정 정보를 확인할 필요가 있음)
Caused by: io.netty.channel.AbstractChannel$AnnotatedConnectException: Connection refused: gsda1/XXX.XXX.XXX.XXX:7077


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
281 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 733
280 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 2018.07.15 402
279 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 761
278 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 2083
277 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 1730
276 CDH에서 Sentry 개념및 설정 file 2018.06.21 756
» cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 2018.06.20 924
274 dr.who로 공격들어오는 경우 조치방법 file 2018.06.09 5799
273 spark-shell을 실행하면 "Attempted to request executors before the AM has registered!"라는 오류가 발생하면 2018.06.08 761
272 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 2018.06.08 774
271 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 2018.06.06 856
270 JAVA_HOME을 명시적으로 지정하는 방법 2018.06.04 609
269 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 2018.06.01 715
268 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 2018.05.30 850
267 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 2018.05.30 819
266 HUE를 사용할 사용자를 추가 하는 절차 2018.05.29 1110
265 JobHistory 서버 기동시 HDFS상에 특정 폴더를 생성할 수 없어서 기동하지 못하는 경우 조치 2018.05.29 3017
264 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 2018.05.28 1454
263 Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 1968
262 Cloudera Manager재설치하는 동안 "Host is in bad health"오류가 발생하는 경우 확인/조치 사항 2018.05.24 993
쓰기 태그
위로