메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기

총관리자 2017.07.26 14:18 조회 수 : 10722

1. 다운로드

http://spark.apache.org/downloads.html


2. 압축파일 풀기

다운로드한 파일(spark-2.2.0-bin-hadoop2.7.tgz)을 적절한 위치에 복사(예, C:devhadoop)하고 압축을 푼다.


3.환경변수 설정

SPARK_HOME=C:devhadoopspark-2.2.0-bin-hadoop2.7

PATH=%PATH%;C:devhadoopspark-2.2.0-bin-hadoop2.7bin


4. 확인/test

가. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>spark-shell

나. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>pyspark

다. spark-submit을 실행해본다.


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
232 update 샘플 2018.03.12 5676
231 Scala에서 countByWindow를 이용하기(예제) 2018.03.08 5968
230 Scala를 이용한 Streaming예제 2018.03.08 5215
229 scala application 샘플소스(SparkSession이용) 2018.03.07 6548
228 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 2018.02.01 5811
227 Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법 2018.02.01 5816
226 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 2018.01.25 5158
225 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 2018.01.16 4434
224 [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 2018.01.03 11515
223 [2.7.2] distribute-exclude.sh사용할때 ssh 포트변경에 따른 오류발생시 조치사항 2018.01.02 5322
222 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 2017.12.28 6155
221 [DBeaver 4.3.0]import/export시 "Client home is not specified for connection" 오류발생시 조치사항 2017.12.21 5330
220 권한회수 및 권한부여 명령 몇가지 2017.11.16 5309
219 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 2017.11.14 5938
218 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 2017.10.12 4728
217 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 3138
216 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 2017.09.14 5612
215 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 3952
» Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 2017.07.26 10722
213 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 2017.07.26 8000
쓰기 태그
위로