Cloudera CDH/CDP cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정

총관리자 2018.09.14 18:14 조회 수 : 1126

Spark 2.1에서 외부 python프로그램 사용시 설정이 필요한 부분

Spark 2 Service Advanced Configuration Snippet(Safety Valve) for spark2-conf/spark-env.sh

if [ -z "${PYSPARK_PYTHON}}" ]; then

export PYSPARK_PYTHONB=/usr/anaconda3/bin/python

export PYTHONHASHSEED=0

export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

번호	제목	날짜	조회 수
161	mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법	2015.12.22	513
160	console명령과 API비교	2015.12.21	484
159	java quartz 시간 설정 참고사항	2015.12.16	300
158	천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분	2015.12.16	191
157	대표 오픈소스 라이선스, 한 눈에 보기!	2015.12.10	226
156	sparql 문법구조 설명	2015.12.09	490
155	git설명 한글판	2015.12.09	440
154	protege 4.3 다운로드	2015.12.09	227
153	ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트	2015.12.08	490
152	마이바티스(MyBatis)쿼리로그 출력및 정렬하기	2015.12.01	1546
151	sparql에서 concat에제	2015.11.27	238
150	Runtime.getRuntime().exec(cmd) sample 소스	2015.11.19	359
149	Resource temporarily unavailable(자원이 일시적으로 사용 불가능함) 오류조치	2015.11.19	7708
148	mybais #과 $의 차이점	2015.11.10	460
147	Mybatis foreach 문법정리(상황에 따른 사용법)	2015.11.10	1466
146	DB별 JDBC 드라이버	2015.10.02	468
145	root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8)	2015.10.02	554
144	SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다.	2015.09.30	327
143	mongodb 2.6.6 설치(64bit)	2015.09.30	324
142	pom.xml에서 build.gradle로 변환	2015.09.14	311

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL