메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


0. 아래 작업(0~7)은 root계정으로 진행한다.

*컴파일 환경준비

  - yum install zlib-devel -y
  - yum install openssl openssl-devel -y


1. 작업용 디렉토리생성하고 해당 폴더로 들어간다.

 mkdir /tmp/python

 cd /tmp/python




2. python3.5.1다운로드 받기(Gzipped source tarball)

https://www.python.org/downloads/release/python-351/에서 (Gzipped source tarball)를 클릭하여 소스를 다운로드 받아 작업 폴더(/tmp/python)에 업로드 한다.


3. 압축풀기

tar xvfz Python-3.5.1.tgz 


4. Python-3.5.1폴더로 이동한후 컴파일및 설치한다.

가. cd Python-3.5.1
나. ./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
다. make && make altinstall


5. python3.5 버젼확인

> python3.5 -V => Python 3.5.1


5-1. python프로그램 실행 테스트

python3.5 /svc/apps/sda/ml/predict_.py 0000000003 dinner


6. pip3설치(python3은 pip3를 사용하고 python2는 pip를 사용해야함, 아래의 절차로 실행하면 python3.5에 맞는 pip가 설치되며 pip혹은 pip3 모두 같은 버젼이 실행되도록 설정됨)

가. curl -k -O https://bootstrap.pypa.io/get-pip.py
나. python3.5 get-pip.py

다. 확인 : pip --version check

* 로그내용

-bash-4.1# python3.5 get-pip.py
Collecting pip
  Downloading pip-9.0.1-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 616kB/s 
Collecting wheel
  Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
    100% |████████████████████████████████| 51kB 15.8MB/s 
Installing collected packages: pip, wheel
  Found existing installation: pip 7.1.2
    Uninstalling pip-7.1.2:
      Successfully uninstalled pip-7.1.2
Successfully installed pip-9.0.1 wheel-0.30.0


7. numpy/pymysql설치

pip3 install numpy    <-(1.13.2가 설치되므로 python3를 사용하는 경우 아래의 내용을 참고하여 버젼업시켜준다.)

pip3 install pymysql


*참고 : numpy버젼 변경방법(예, 1.13.2를 1.9.2로 변경)

 가. pip3 install numpy==1.9.2

 나. pip3 install --upgrade --no-cache-dir  --force-reinstall scipy

 다. 진행 메세지

-bash-4.1# pip3 install numpy==1.9.2
Collecting numpy==1.9.2
  Downloading numpy-1.9.2-cp35-cp35m-manylinux1_x86_64.whl (15.0MB)
    100% |████████████████████████████████| 15.0MB 106kB/s
Installing collected packages: numpy
  Found existing installation: numpy 1.13.2
    Uninstalling numpy-1.13.2:
      Successfully uninstalled numpy-1.13.2
Successfully installed numpy-1.9.2




번호 제목 날짜 조회 수
541 update를 많이 하면 heap memory가 많이 소진되고 최종적으로 OOM가 발생하는데 이에 대한 설명 2017.04.10 817
540 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 2015.04.02 803
539 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 2015.06.14 792
538 hue.desktop_document2의 type의 종류 2020.02.10 779
537 [Sentry]HDFS의 ACL을 Sentry와 연동후 테스트 2020.06.02 777
536 lateral view 예제 2014.09.18 775
535 solr 인스턴스 기동후 shard에 서버가 정상적으로 할당되지 않는 경우 해결책 2016.04.29 770
534 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 2016.10.17 757
533 sendmail전송시 421 4.3.0 collect: Cannot write ./dfv5BA2EBS010579 (bfcommit, uid=0, gid=114): No such file or directory 발생시 조치사항 2017.06.11 756
532 CentOS 7.x에 Jupyter설치 2018.04.18 754
531 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법(SolrCloud) 2016.04.08 749
530 fuseki용 config-examples.ttl 예시 내용 2017.05.17 746
529 znode /hbase recursive하게 지우기 2015.05.06 739
528 Failed to write to server: (no server available): 2022.01.17 737
527 [SBT] assembly시 "[error] deduplicate: different file contents found in the following:"오류 발생시 조치사항 2016.08.04 737
526 Halyard - RDF4J와 Apache HBase를 이용하여 구현된 TripleStore이며 SPARQL 1.1쿼리를 지원한다. 2016.12.29 734
525 Spark 1.6.1 설치후 HA구성 2016.05.24 734
524 springframework를 이용한 war를 생성하는 build.gradle파일(참고용) 2016.08.19 732
523 solr에서 한글사용시 주의점 2014.09.26 731
522 Flume을 이용한 데이타 수집시 HBase write 성능 튜닝 file 2016.10.31 724
위로