메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


0. 아래 작업(0~7)은 root계정으로 진행한다.

*컴파일 환경준비

  - yum install zlib-devel -y
  - yum install openssl openssl-devel -y


1. 작업용 디렉토리생성하고 해당 폴더로 들어간다.

 mkdir /tmp/python

 cd /tmp/python




2. python3.5.1다운로드 받기(Gzipped source tarball)

https://www.python.org/downloads/release/python-351/에서 (Gzipped source tarball)를 클릭하여 소스를 다운로드 받아 작업 폴더(/tmp/python)에 업로드 한다.


3. 압축풀기

tar xvfz Python-3.5.1.tgz 


4. Python-3.5.1폴더로 이동한후 컴파일및 설치한다.

가. cd Python-3.5.1
나. ./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
다. make && make altinstall


5. python3.5 버젼확인

> python3.5 -V => Python 3.5.1


5-1. python프로그램 실행 테스트

python3.5 /svc/apps/sda/ml/predict_.py 0000000003 dinner


6. pip3설치(python3은 pip3를 사용하고 python2는 pip를 사용해야함, 아래의 절차로 실행하면 python3.5에 맞는 pip가 설치되며 pip혹은 pip3 모두 같은 버젼이 실행되도록 설정됨)

가. curl -k -O https://bootstrap.pypa.io/get-pip.py
나. python3.5 get-pip.py

다. 확인 : pip --version check

* 로그내용

-bash-4.1# python3.5 get-pip.py
Collecting pip
  Downloading pip-9.0.1-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 616kB/s 
Collecting wheel
  Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
    100% |████████████████████████████████| 51kB 15.8MB/s 
Installing collected packages: pip, wheel
  Found existing installation: pip 7.1.2
    Uninstalling pip-7.1.2:
      Successfully uninstalled pip-7.1.2
Successfully installed pip-9.0.1 wheel-0.30.0


7. numpy/pymysql설치

pip3 install numpy    <-(1.13.2가 설치되므로 python3를 사용하는 경우 아래의 내용을 참고하여 버젼업시켜준다.)

pip3 install pymysql


*참고 : numpy버젼 변경방법(예, 1.13.2를 1.9.2로 변경)

 가. pip3 install numpy==1.9.2

 나. pip3 install --upgrade --no-cache-dir  --force-reinstall scipy

 다. 진행 메세지

-bash-4.1# pip3 install numpy==1.9.2
Collecting numpy==1.9.2
  Downloading numpy-1.9.2-cp35-cp35m-manylinux1_x86_64.whl (15.0MB)
    100% |████████████████████████████████| 15.0MB 106kB/s
Installing collected packages: numpy
  Found existing installation: numpy 1.13.2
    Uninstalling numpy-1.13.2:
      Successfully uninstalled numpy-1.13.2
Successfully installed numpy-1.9.2




번호 제목 날짜 조회 수
541 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 2018.06.20 429
540 dr.who로 공격들어오는 경우 조치방법 file 2018.06.09 5713
539 spark-shell을 실행하면 "Attempted to request executors before the AM has registered!"라는 오류가 발생하면 2018.06.08 704
538 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 2018.06.08 408
537 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 2018.06.06 444
536 JAVA_HOME을 명시적으로 지정하는 방법 2018.06.04 329
535 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 2018.06.01 441
534 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 2018.05.30 468
533 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 2018.05.30 422
532 HUE를 사용할 사용자를 추가 하는 절차 2018.05.29 420
531 JobHistory 서버 기동시 HDFS상에 특정 폴더를 생성할 수 없어서 기동하지 못하는 경우 조치 2018.05.29 2967
530 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 2018.05.28 1147
529 Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 1730
528 우분투 서버에 GUI로 접속하기 file 2018.05.27 518
527 Cloudera Manager재설치하는 동안 "Host is in bad health"오류가 발생하는 경우 확인/조치 사항 2018.05.24 427
526 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 2018.05.23 443
525 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 2018.05.23 444
524 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 2018.05.22 422
523 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 2018.05.22 593
522 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 2018.05.22 392
위로