Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
0. A Cluster에 hadoop 으로 로그인
1. mkdir /home/hadoop/BACKUP
2. cd /home/hadoop/BACKUP
3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs
4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드
sudo hdfs dfs -copyToLocal -p /SOURCE .
5. 압축하기
sudo tar cvfz SOURCE_20200506.tar.gz SOURCE
6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드
7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기
8. 압축풀기
sudo tar xvfz SOURCE_20200506.tar.gz
9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)
- kinit -kt /var/lib/keytab/hdfs.keytab hdfs
- hdfs dfs -copyFromLocal -p SOURCE /
(HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)
* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨