메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


0. anaconda3가 이미 설치되어 있고 conda를 통하여 jupyterhub및 notebook를 설치완료된 상태이지만 python 3.6.5를 사용하지 못하고 RHEL 7.4에 default설치된 python 3.7.5를 사용하도록 PATH를 지정하는 경우 절대경로를 지정하지 않고 jupyterhub등을 실행하면 오류가 발생하고 특히 http://gooper.com:8000/에서 로그인 시도시 아래와 같은 오류가 발생하면서 로그인에 실패하면

config파일에 "c.Spawner.cmd = ['/usr/anaconda3/bin/jupyterhub-singleuser']"를 반드시 설정하고 기동해준다.(jupyterhub-singleuser가 있는 절대경로임)

--------------오류내용--------

 File "/usr/anaconda3/lib/python3.6/subprocess.py", line 1344, in _execute_child

        raise child_exception_type(errno_num, err_msg, err_filename)

    PermissionError: [Errno 13] Permission denied: 'jupyterhub-singleuser'


----------------설정방법(conda를 이용)------------

1. jupyterhub설치

  sudo /usr/anaconda3/bin/conda install -c conda-forge jupyterhub

2. jupyter설치

  sudo /usr/anaconda3/bin/conda install notebook

3. 설정파일이 저장될 위치 생성

  sudo mkdir /etc/jupyterhub

4. default 설정파일 생성 명령문

sudo /usr/anaconda3/bin/jupyterhub --generate-config -f /etc/jupyterhub/jupyterhub_config.py

5. 설정파일 수정(vi jupyterhub_config.py)후 저장

#  This is the address on which the proxy will bind. Sets protocol, ip, base_url

c.JupyterHub.bind_url = 'http://XXX.XXX.XXX.XXX:8000'


#  Some spawners allow shell-style expansion here, allowing you to use

#  environment variables. Most, including the default, do not. Consult the

#  documentation for your spawner to verify!

c.Spawner.cmd = ['/usr/anaconda3/bin/jupyterhub-singleuser']


5. 실행(debug모드로 실행)

  sudo /usr/anaconda3/bin/jupyterhub --debug


6. 확인(default는 PAM인증임)

https://localhost:8000


* jupyter는 jupyterhub를 통하면 자동으로 spawn되므로 따로 기동시킬 필요없음


번호 제목 날짜 조회 수
286 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 2018.08.03 2230
285 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 5060
284 RHEL 7.4에 zeppelin 0.7.4 설치 2018.07.31 2380
» conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0) 2018.07.30 2051
282 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 1859
281 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 1531
280 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 2018.07.15 1767
279 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 1779
278 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 2937
277 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 2605
276 CDH에서 Sentry 개념및 설정 file 2018.06.21 1767
275 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 2018.06.20 1842
274 dr.who로 공격들어오는 경우 조치방법 file 2018.06.09 6489
273 spark-shell을 실행하면 "Attempted to request executors before the AM has registered!"라는 오류가 발생하면 2018.06.08 1477
272 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 2018.06.08 1725
271 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 2018.06.06 1778
270 JAVA_HOME을 명시적으로 지정하는 방법 2018.06.04 1490
269 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 2018.06.01 1872
268 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 2018.05.30 1881
267 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 2018.05.30 1857
위로