메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark spark notebook 0.7.0설치및 설정

총관리자 2016.11.14 10:51 조회 수 : 753

*참고 : http://sungsoo.github.io/2015/04/24/sparknotebook.html

1. spark-notebook.io에서 다운로드 받아 압축을 푼다.
(Build: |  buildTime-Mon Oct 31 17:22:51 UTC 2016 | formattedShaVersion-0.7.0-c955e71d0204599035f603109527e679aa3bd570 | sbtVersion-0.13.8 | scalaVersion-2.11.8 | sparkNotebookVersion-0.7.0 | hadoopVersion-2.7.2 | jets3tVersion-0.7.1 | jlineDef-(jline,2.12) | sparkVersion-2.0.1 | withHive-true |.)

2. conf/밑에 있는 profiles을 아래와 같이 수정해준다.
(spark가 설치되어 있고 spark의 standalone모드로 사용하는 경우임)

3. ./bin/spark-notebook을 띄워준다.
4. http://localhost:9001로 접근하여 사용한다.

----------------------profiles
-bash-4.1$ vi profiles
{
  "local" : {
    "id" : "local",
    "name" : "Local",
    "template" : {
      "customLocalRepo" : null,
      "customRepos" : null,
      "customDeps" : null,
      "customImports" : null,
      "customSparkConf" : {
        "spark.app.name" : "Notebook",
        "spark.master" : "local[8]",
        "spark.executor.memory" : "1G"
      }
    }
  },
  "standalone" : {
    "id" : "standalone",
    "name" : "Standalone",
    "template" : {
      "customLocalRepo" : null,
      "customRepos" : null,
      "customDeps" : null,
      "customImports" : null,
      "customSparkConf" : {
        "spark.app.name" : "Notebook",
        "spark.master" : "spark://sda1:7077,sda2:7077",
        "spark.executor.memory" : "5G"
      }
    }
  },
  "mesos" : {
    "id" : "mesos",
    "name" : "Mesos",
    "template" : {
      "customLocalRepo" : null,
      "customRepos" : null,
      "customDeps" : null,
      "customImports" : null,
"profiles" 66L, 1712C                                                                                                                                                                                         1,1        꼭대기
{
  "local" : {
    "id" : "local",
    "name" : "Local",
    "template" : {
      "customLocalRepo" : null,
      "customRepos" : null,
      "customDeps" : null,
      "customImports" : null,
      "customSparkConf" : {
        "spark.app.name" : "Notebook",
        "spark.master" : "local[8]",
        "spark.executor.memory" : "1G"
      }
    }
  },
  "standalone" : {
    "id" : "standalone",
    "name" : "Standalone",
    "template" : {
      "customLocalRepo" : null,
      "customRepos" : null,
      "customDeps" : null,
      "customImports" : null,
      "customSparkConf" : {
        "spark.app.name" : "Notebook",
        "spark.master" : "spark://sda1:7077,sda2:7077",
        "spark.executor.memory" : "5G"
      }
    }
  },
  "mesos" : {
    "id" : "mesos",
    "name" : "Mesos",
    "template" : {
      "customLocalRepo" : null,
      "customRepos" : null,
      "customDeps" : null,
      "customImports" : null,
      "customSparkConf" : {
        "spark.app.name" : "Notebook",
        "spark.master" : "mesos://<master>:<port>",
        "spark.executor.memory" : "512m",
        "spark.executor.uri" : "hdfs://<spark>.tgz",
        "spark.driver.host" : "<host>",
        "spark.local.dir" : "<path>"
      }
    }
  },
  "yarn" : {
      "id" : "yarn-client",
                                                                                                                     
번호 제목 날짜 조회 수
322 원격의 origin/master를 기준으로 dev branch를 만들어 작업후 원격의 origin/dev에 push하는 방법 file 2016.11.22 867
321 .gitignore파일에 지정되지 않은 파일이 ignore되는 경우 확인방법 2016.11.22 872
320 github에 있는 프로젝트와 로컬에서 작업한 프로젝트 합치기 2016.11.22 878
319 특정 커밋 시점(commit id를 기준으로)으로 돌리기(reset) 2016.11.21 608
318 Github를 이용하는 전체 흐름 이해하기 2016.11.18 269
317 특정 단계의 commit상태로 만들기(이렇게 하면 중간에 반영된 모든 commit를 history가 삭제된다) 2016.11.17 881
316 git 초기화(Windows에서 Git Bash사용) 2016.11.17 1105
» spark notebook 0.7.0설치및 설정 2016.11.14 753
314 참고할만한 spark예제를 설명하는 사이트 2016.11.11 576
313 Kafka Offset Monitor로 kafka 상태 모니터링 하기 file 2016.11.08 1480
312 Eclipse실행시 Java was started but returned exit code=1이라는 오류가 발생할때 조치방법 2016.11.07 862
311 [SparkR]SparkR 설치 사용기 1 - Installation Guide On Yarn Cluster & Mesos Cluster & Stand Alone Cluster file 2016.11.04 552
310 데이타 분석및 머신러닝에 도움이 도움이 되는 사이트 2016.11.04 772
309 java스레드 덤프 분석하기 file 2016.11.03 248
308 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 265
307 Spark Streaming 코드레벨단에서의 성능개선 2016.10.31 817
306 Flume과 Kafka를 사용한 초당 100만개 로그 수집 테스트 file 2016.10.31 1199
305 Flume을 이용한 데이타 수집시 HBase write 성능 튜닝 file 2016.10.31 806
304 How-to: Build a Complex Event Processing App on Apache Spark and Drools file 2016.10.31 546
303 How-to: Tune Your Apache Spark Jobs (Part 2) file 2016.10.31 457
위로