Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Spark 2.1에서 외부 python프로그램 사용시 설정이 필요한 부분
Spark 2 Service Advanced Configuration Snippet(Safety Valve) for spark2-conf/spark-env.sh
if [ -z "${PYSPARK_PYTHON}}" ]; then
export PYSPARK_PYTHONB=/usr/anaconda3/bin/python
export PYTHONHASHSEED=0
export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0
fi