메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정

총관리자 2018.09.14 18:14 조회 수 : 1416

Spark 2.1에서 외부 python프로그램 사용시 설정이 필요한 부분


Spark 2  Service Advanced Configuration Snippet(Safety Valve) for spark2-conf/spark-env.sh

if [ -z "${PYSPARK_PYTHON}}" ]; then

  export PYSPARK_PYTHONB=/usr/anaconda3/bin/python

  export PYTHONHASHSEED=0

  export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

fi

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
» cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 2018.09.14 1416
561 ntp시간 맞추기 2018.09.12 494
560 ubuntu 커널 업그레이드 방법 2018.09.02 1530
559 oracle to hive data type정리표 2018.08.22 5113
558 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 1452
557 sentry설정 방법및 활성화시 설정이 필요한 파일및 설정값, 계정생성 방법 2018.08.16 1151
556 컬럼및 라인의 구분자를 지정하여 sqoop으로 데이타를 가져오고 hive테이블을 생성하는 명령문 2018.08.03 1100
555 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 2018.08.03 1295
554 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 4145
553 RHEL 7.4에 zeppelin 0.7.4 설치 2018.07.31 1046
552 conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0) 2018.07.30 1064
551 anaconda3 (v5.2) 설치및 머신러닝 관련 라이브러리 설치 절차 2018.07.27 876
550 anaconda3(v5.4)를 이용하여 tensorflow설치후 ipython프로그램을 실행하여 import할때 오류발생시 조치 2018.07.27 354
549 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 872
548 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 733
547 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 2018.07.15 402
546 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 761
545 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 2082
544 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 1730
543 하둡기반 데이타 모델링(6편) 2018.06.27 426
쓰기 태그
위로