메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정

총관리자 2018.09.14 18:14 조회 수 : 1132

Spark 2.1에서 외부 python프로그램 사용시 설정이 필요한 부분


Spark 2  Service Advanced Configuration Snippet(Safety Valve) for spark2-conf/spark-env.sh

if [ -z "${PYSPARK_PYTHON}}" ]; then

  export PYSPARK_PYTHONB=/usr/anaconda3/bin/python

  export PYTHONHASHSEED=0

  export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

fi

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
621 거침없이 배우는 Drools 책의 샘플소스 file 2016.07.22 1376
620 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 2014.04.23 1340
619 json 값 다루기 2014.04.17 1334
618 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 1326
617 external partition table생성및 data확인 2014.04.03 1321
616 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 2017.05.01 1313
615 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 2016.09.25 1300
614 zookeeper 3.4.6 설치(3대) 2015.04.28 1299
613 [kubernetes]우분투 Kubernetes 설치 방법 file 2019.07.24 1289
612 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 1289
611 json으로 존재하는 데이터 parsing하기 2019.03.25 1263
610 sequence한 번호 생성방법 2014.04.25 1261
609 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1258
608 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1256
607 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 1251
606 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1203
605 json serde사용법 2014.04.17 1196
604 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 2014.09.25 1194
603 Hive Query Examples from test code (1 of 2) 2014.03.26 1180
602 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 1175
쓰기 태그
위로