메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


CDP에서 사용중인 Solr Data Data Directory를 변경하는 방법은 다음과 같다. 

이때 전체 서비스를 stop시키는 이유는 Solr데이터 정합성을 유지 하기 위함이기도 하며 어떤 서비스가 Solr를 사용하는지 정확하지 않아서 전체 stop시키는것이다. 

(Solr를 사용하는 것으로 예상되는 서비스는 Ranger, Atlas임, Solr Data Directory를 사용하는 서비스가 running상태라면 cp하는 과정에서 오류가 발생함)


1. Hue에서 oozie coordinator를 모두 suspend시켜준다. 

2. Cluster내 전체 서비스를 stop시켜준다.

3. Solr Server로 이용중인 노드의 OS에서 다음과 같이 데이터를 백업및 최종 목적지로 cp해준다. (예, node01, node02를 사용한 경우)

 sudo mkdir /var/log/cloudera/solr-data

 sudo chown solr:solr /var/log/cloudera/solr-data

 sudo cp -rp /var/lib/solr-infra /var/log/cloudera/solr-data

 sudo mv /var/lib/solr-infra /var/lib/solr-infra_backup

4. CM에서 

 Solr Data Directory항목 값을 /var/lib/solr-infra에서 /var/log/cloudera/solr-data/solr-infra로 변경한다. 

5. Cluster내 전체 서비스를 start한다. (이때 변경사항이 반영된다)

6. Hue에서 Oozie coordinator를 모두 resume시켜준다.

7. 서비스 확인

8. 최종 확인후 정상상태라면 sudo -rf /var/lib/solr-infra_backup로 백업 디렉토리를 삭제한다. 



번호 제목 날짜 조회 수
101 centsOS vsftpd설치하기 2013.12.17 1602
100 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 2016.07.29 1603
99 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 2014.05.09 1605
98 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 1605
97 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 2015.05.21 1609
96 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 1617
95 jsoup 사용 예제 2014.06.06 1630
94 Jena 2.3를 Hadoop 2.7.2의 NFS로 mount하고 fuseki를 이용하여 start할때 오류 메세지 2016.12.02 1644
93 [CDP7.1.7]BDR작업후 오류로 Diagnostic Data를 수집하는 동안 "No content to map due to end-of-input at [Source: (String)""; line: 1, column: 0]" 오류 발생시 조치 2024.02.20 1670
92 centos 5.X에 hadoop 2.0.5 alpha 설치 2013.12.16 1674
91 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 2017.05.23 1711
90 Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 1730
89 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 1759
88 index생성, 삭제, 활용 2014.04.25 1766
87 access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 2014.07.05 1793
86 hive에서 생성된 external table에서 hbase의 table에 값 insert하기 2014.04.11 1820
85 hue db에서 사용자가 가지는 정보 확인 2020.02.10 1830
84 [ftgo_application]Unable to infer base url오류 발생시 조치방법 2023.02.20 1830
83 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 1836
82 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 1870
위로