메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


spark Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기

총관리자 2017.07.26 14:18 조회 수 : 271

1. 다운로드

http://spark.apache.org/downloads.html


2. 압축파일 풀기

다운로드한 파일(spark-2.2.0-bin-hadoop2.7.tgz)을 적절한 위치에 복사(예, C:devhadoop)하고 압축을 푼다.


3.환경변수 설정

SPARK_HOME=C:devhadoopspark-2.2.0-bin-hadoop2.7

PATH=%PATH%;C:devhadoopspark-2.2.0-bin-hadoop2.7bin


4. 확인/test

가. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>spark-shell

나. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>pyspark

다. spark-submit을 실행해본다.


이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
341 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 총관리자 2018.07.21 258
340 sparql 1.1 BIND(if() as ?bind변수) 버그로 추정되는 문제점및 해결방안 -> select 문에 (if(,,) as ?bind변수) file 총관리자 2016.01.21 261
339 centos에 sbt 0.13.5 설치 총관리자 2016.05.30 261
338 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 표시하고 ?a!=?b 인경우는 ""로 구성된 결과 집합을 구하는 경우 file 총관리자 2016.01.29 265
337 ResultSet에서 데이타를 List<Map<String,String>>형태로 만들어서 리턴하는 소스(Collections.sort를 이용한 정렬 가능) 총관리자 2016.12.15 265
336 Not enough replica available for query at consistency QUORUM가 발생하는 경우 총관리자 2017.06.21 265
» Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 총관리자 2017.07.26 271
334 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 총관리자 2021.10.22 272
333 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 총관리자 2015.05.08 273
332 [보안/인증]javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target발생 원인/조치내용 gooper 2023.10.24 273
331 fuseki에 update하는 방법(java api이용)및 주의 사항 총관리자 2015.12.30 276
330 [MemoryLeak분석]다수의 MongoCleaner 쓰레드가 Sleep상태에 있으면서 Full GC가 계속 발생되는 문제 해결방법 file 총관리자 2017.01.11 276
329 solr 데몬이 떠있는 동안 hadoop이 다운되는 경우 Index dir 'hdfs://mycluster/user/../core_node2/data/index/' of core 'gc_shard1_replica2' is already locked라논 오류가 발생하는데 이에 대한 조치사항 총관리자 2018.01.04 279
328 kafka에서 메세지 중복 consume이 발생할 수 있는 상황 총관리자 2018.10.23 279
327 SPARQL의 유형, SPARQL 만들기등에 대한 설명 총관리자 2016.02.18 282
326 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 총관리자 2018.05.30 284
325 nc -l 7777 : 7777포트에서 입력을 받는다. 총관리자 2017.03.23 285
324 System Properties Comparison Elasticsearch vs. Hive vs. Jena file 총관리자 2016.03.10 287
323 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 총관리자 2017.04.19 290
322 룰에 매칭되면 발생되는 엑티베이션 객체에 대한 작업(이전값 혹은 현재값)을 처리하는 클래스 파일 총관리자 2016.07.21 292
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로