메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기

총관리자 2017.07.26 14:18 조회 수 : 1047

1. 다운로드

http://spark.apache.org/downloads.html


2. 압축파일 풀기

다운로드한 파일(spark-2.2.0-bin-hadoop2.7.tgz)을 적절한 위치에 복사(예, C:devhadoop)하고 압축을 푼다.


3.환경변수 설정

SPARK_HOME=C:devhadoopspark-2.2.0-bin-hadoop2.7

PATH=%PATH%;C:devhadoopspark-2.2.0-bin-hadoop2.7bin


4. 확인/test

가. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>spark-shell

나. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>pyspark

다. spark-submit을 실행해본다.


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
222 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 2017.12.28 1437
221 [DBeaver 4.3.0]import/export시 "Client home is not specified for connection" 오류발생시 조치사항 2017.12.21 1185
220 권한회수 및 권한부여 명령 몇가지 2017.11.16 1236
219 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 2017.11.14 1133
218 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 2017.10.12 967
217 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 198
216 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 2017.09.14 462
215 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 433
» Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 2017.07.26 1047
213 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 2017.07.26 949
212 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 1967
211 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 1291
210 HBase 설정 최적화하기(VCNC) file 2017.07.18 624
209 HBase write 성능 튜닝 file 2017.07.18 401
208 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 2017.06.30 1738
207 Not enough replica available for query at consistency QUORUM가 발생하는 경우 2017.06.21 872
206 cassandra cluster 문제가 있는 node제거 하기(DN상태의 노드가 있으면 cassandra cluster 전체에 문제가 발생하므로 반드시 제거할것) 2017.06.21 921
205 lagom을 이용한 샘플 경매 프로그램 실행방법 2017.06.20 931
204 mysql-server 기동시 Do you already have another mysqld server running on port 오류 발생할때 확인및 조치방법 2017.05.14 2952
203 mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 2017.05.04 17372
쓰기 태그
위로