메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


클라우데라 설치
1. binary파일을 다운
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2. 실행권한 부여
sudo chmod u+x cloudera-manager-installer.bin

3. 설치 진행
sudo ./cloudera-manager-installer.bin

클라우데라 삭제
0. CM에서 Cluster stop및 Cloudera Manager Service를 stop시키고 서비스는 delete하고 Host는 cluster및 cloudera manager에서 제거한다.
1. cloudera-scm-server
 가. sudo /usr/share/cmf/uninstall-cloudera-manager.sh
 나. sudo apt-get remove cloudera-manager-server
 다. sudo apt-get remove cloudera-manager-server-db-2
 라. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 마. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /etc/cloudera-scm-server/db.properties
 사. sudo rm /var/lib/cloudera-scm-agent/cm_guid
 아.  sudo apt-get clean 


 * 참고 : uninstall-cloudera-manager.sh를 사용할 수 없는 경우 아래의 command 2개를 사용한다.
 sudo service cloudera-scm-server stop
 sudo service cloudera-scm-server-db stop

2. cloudera-scm-agent
 가. sudo /usr/sbin/service cloudera-scm-agent next_stop_hard
 나. sudo /usr/sbin/service cloudera-scm-agent stop
 다. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 라. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /var/lib/cloudera-scm-agent/cm_guid


 사. 데이타 디렉토리등 삭제(재설치를 반복하는 경우는 삭제할 필요없음, 완전히 삭제하는 경우만 삭제할것)
   sudo rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
   sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper

번호 제목 날짜 조회 수
101 centsOS vsftpd설치하기 2013.12.17 1602
100 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 2016.07.29 1603
99 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 2014.05.09 1605
98 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 1605
97 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 2015.05.21 1609
96 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 1616
95 jsoup 사용 예제 2014.06.06 1630
94 Jena 2.3를 Hadoop 2.7.2의 NFS로 mount하고 fuseki를 이용하여 start할때 오류 메세지 2016.12.02 1644
93 [CDP7.1.7]BDR작업후 오류로 Diagnostic Data를 수집하는 동안 "No content to map due to end-of-input at [Source: (String)""; line: 1, column: 0]" 오류 발생시 조치 2024.02.20 1670
92 centos 5.X에 hadoop 2.0.5 alpha 설치 2013.12.16 1674
91 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 2017.05.23 1711
» Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 1730
89 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 1759
88 index생성, 삭제, 활용 2014.04.25 1766
87 access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 2014.07.05 1793
86 hive에서 생성된 external table에서 hbase의 table에 값 insert하기 2014.04.11 1820
85 hue db에서 사용자가 가지는 정보 확인 2020.02.10 1830
84 [ftgo_application]Unable to infer base url오류 발생시 조치방법 2023.02.20 1830
83 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 1836
82 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 1870
위로