메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


0. 아래 작업(0~7)은 root계정으로 진행한다.

*컴파일 환경준비

  - yum install zlib-devel -y
  - yum install openssl openssl-devel -y


1. 작업용 디렉토리생성하고 해당 폴더로 들어간다.

 mkdir /tmp/python

 cd /tmp/python




2. python3.5.1다운로드 받기(Gzipped source tarball)

https://www.python.org/downloads/release/python-351/에서 (Gzipped source tarball)를 클릭하여 소스를 다운로드 받아 작업 폴더(/tmp/python)에 업로드 한다.


3. 압축풀기

tar xvfz Python-3.5.1.tgz 


4. Python-3.5.1폴더로 이동한후 컴파일및 설치한다.

가. cd Python-3.5.1
나. ./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
다. make && make altinstall


5. python3.5 버젼확인

> python3.5 -V => Python 3.5.1


5-1. python프로그램 실행 테스트

python3.5 /svc/apps/sda/ml/predict_.py 0000000003 dinner


6. pip3설치(python3은 pip3를 사용하고 python2는 pip를 사용해야함, 아래의 절차로 실행하면 python3.5에 맞는 pip가 설치되며 pip혹은 pip3 모두 같은 버젼이 실행되도록 설정됨)

가. curl -k -O https://bootstrap.pypa.io/get-pip.py
나. python3.5 get-pip.py

다. 확인 : pip --version check

* 로그내용

-bash-4.1# python3.5 get-pip.py
Collecting pip
  Downloading pip-9.0.1-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 616kB/s 
Collecting wheel
  Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
    100% |████████████████████████████████| 51kB 15.8MB/s 
Installing collected packages: pip, wheel
  Found existing installation: pip 7.1.2
    Uninstalling pip-7.1.2:
      Successfully uninstalled pip-7.1.2
Successfully installed pip-9.0.1 wheel-0.30.0


7. numpy/pymysql설치

pip3 install numpy    <-(1.13.2가 설치되므로 python3를 사용하는 경우 아래의 내용을 참고하여 버젼업시켜준다.)

pip3 install pymysql


*참고 : numpy버젼 변경방법(예, 1.13.2를 1.9.2로 변경)

 가. pip3 install numpy==1.9.2

 나. pip3 install --upgrade --no-cache-dir  --force-reinstall scipy

 다. 진행 메세지

-bash-4.1# pip3 install numpy==1.9.2
Collecting numpy==1.9.2
  Downloading numpy-1.9.2-cp35-cp35m-manylinux1_x86_64.whl (15.0MB)
    100% |████████████████████████████████| 15.0MB 106kB/s
Installing collected packages: numpy
  Found existing installation: numpy 1.13.2
    Uninstalling numpy-1.13.2:
      Successfully uninstalled numpy-1.13.2
Successfully installed numpy-1.9.2




번호 제목 날짜 조회 수
321 cassandra cluster 문제가 있는 node제거 하기(DN상태의 노드가 있으면 cassandra cluster 전체에 문제가 발생하므로 반드시 제거할것) 2017.06.21 452
320 Not enough replica available for query at consistency QUORUM가 발생하는 경우 2017.06.21 412
319 http://blog.naver.com... 2017.06.23 186
318 elasticsearch 기동시 permission denied on key 'vm.max_map_count' 오류발생시 조치사항 2017.06.23 511
317 solr 6.2에 한글 형태소 분석기(arirang 6.x) 적용 및 테스트 file 2017.06.27 1007
316 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 2017.06.30 1431
315 solr명령 실행시 "Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect" 오류발생 2017.06.30 424
314 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 2017.07.04 869
313 halyard 1.3을 다른 서버로 이전하는 방법 2017.07.05 470
312 halyard 1.3의 rdf4j-server.war와 rdf4j-workbench.war를 tomcat deploy후 조회시 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/Cell발생시 조치사항 2017.07.05 176
311 halyard의 console스크립트에서 생성한 repository는 RDF4J Web Applications에서 공유가 되지 않는다. 2017.07.05 531
310 schema.xml vs managed-schema 지정 사용하기 - 두개를 동시에 사용할 수는 없음 2017.07.09 378
309 HBase write 성능 튜닝 file 2017.07.18 186
308 HBase 설정 최적화하기(VCNC) file 2017.07.18 248
307 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 1151
306 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 1835
305 9대가 hbase cluster로 구성된 서버에서 테스트 data를 halyard에 적재하고 테스트 하는 방법및 절차 2017.07.21 142
304 Core with name 'xx_shard4_replica1' already exists. 발생시 조치사항 2017.07.22 151
303 LUBM 데이타 생성구문 2017.07.24 221
302 jena/fuseki 3.4.0 설치 2017.07.25 432
위로