Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
1. 다운로드
http://spark.apache.org/downloads.html
2. 압축파일 풀기
다운로드한 파일(spark-2.2.0-bin-hadoop2.7.tgz)을 적절한 위치에 복사(예, C:devhadoop)하고 압축을 푼다.
3.환경변수 설정
SPARK_HOME=C:devhadoopspark-2.2.0-bin-hadoop2.7
PATH=%PATH%;C:devhadoopspark-2.2.0-bin-hadoop2.7bin
4. 확인/test
가. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>spark-shell
나. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>pyspark
다. spark-submit을 실행해본다.