메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기

총관리자 2017.07.26 14:18 조회 수 : 1046

1. 다운로드

http://spark.apache.org/downloads.html


2. 압축파일 풀기

다운로드한 파일(spark-2.2.0-bin-hadoop2.7.tgz)을 적절한 위치에 복사(예, C:devhadoop)하고 압축을 푼다.


3.환경변수 설정

SPARK_HOME=C:devhadoopspark-2.2.0-bin-hadoop2.7

PATH=%PATH%;C:devhadoopspark-2.2.0-bin-hadoop2.7bin


4. 확인/test

가. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>spark-shell

나. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>pyspark

다. spark-submit을 실행해본다.


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
464 권한회수 및 권한부여 명령 몇가지 2017.11.16 1236
463 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 2017.11.14 1133
462 oneM2M Specification(Draft Release 3, 2, 1), Draft Technical Reports 2017.10.25 366
461 Windows7 64bit 환경에서 ElasticSearch 5.6.3설치하기 2017.10.13 1123
460 windows 혹은 mac에서 docker설치하기 위한 파일 2017.10.13 237
459 lagom-windows용 build.sbt파일 내용 2017.10.12 466
458 lagom-linux용 build.sbt파일 내용 2017.10.12 1523
457 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 2017.10.12 967
456 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 2017.10.12 510
455 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 198
454 python3.5에서 numpy버젼에 따른 문제점을 조치하는 방법및 pymysql import할때 오류 발생시 조치사항 2017.09.28 767
453 fuseki에서 제공하는 script중 s-post를 사용하는 예문 2017.09.15 1043
452 core 'gc_shard3_replica2' is already locked라는 오류가 발생할때 조치사항 2017.09.14 1370
451 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 2017.09.14 462
450 halyard 1.3의 console을 이용하여 100억건의 데이타에 대한 쿼리수행시 ScannerTimeoutException 발생시 조치사항 2017.09.06 950
449 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 432
448 파일은 남겨두고 파일 내용만 지우고자 할 때. 2017.08.30 480
447 RDF4J의 RESTFul API처리 클래스 소스 파악(web module위주) 2017.08.30 473
446 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용한 CRUD테스트(트랜잭션처리) 2017.08.30 1014
445 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용하여 repository에 CRUD테스트 2017.08.30 900
쓰기 태그
위로