Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
0. A Cluster에 hadoop 으로 로그인
1. mkdir /home/hadoop/BACKUP
2. cd /home/hadoop/BACKUP
3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs
4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드
sudo hdfs dfs -copyToLocal -p /SOURCE .
5. 압축하기
sudo tar cvfz SOURCE_20200506.tar.gz SOURCE
6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드
7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기
8. 압축풀기
sudo tar xvfz SOURCE_20200506.tar.gz
9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)
- kinit -kt /var/lib/keytab/hdfs.keytab hdfs
- hdfs dfs -copyFromLocal -p SOURCE /
(HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)
* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨
댓글 0
번호 | 제목 | 날짜 | 조회 수 |
---|---|---|---|
7 | Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 | 2018.09.20 | 654 |
6 | 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 | 2019.06.14 | 594 |
» | A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 | 2020.05.06 | 605 |
4 | W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 | 2020.05.08 | 2217 |
3 | missing block및 관련 파일명 찾는 명령어 | 2021.02.20 | 328 |
2 | hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) | 2022.01.07 | 404 |
1 | [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 | 2023.11.01 | 121 |