메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


출처 : https://openwiki.kr/tech/linux_system_backup



리눅스 시스템 백업하기 (Linux System Backup)

TAR 사용 시스템 전체 백업

tar(Tape ARchive)는 소규모 네트워크에서 백업 프로그램으로 가장 일반적으로 사용되는 유틸리티이다. 이 유틸리티는 오래 전부터 여러 가지 용도로 사용되어 왔고, 앞으로도 아마 꽤 오랫동안 남아있을 것이다.

대부분의 사람이 모르고 있지만, tar는 옛날에 사용되던 자기테이프에 파일들을 옮겨 넣기 위해서 만들어진 것으로 HDD백업용으로 설계된 것이 아니다. 그런 이유로 tar는 증분 백업기능이 미약하다.

백업에 제외할 디렉토리를 정한다. 쓸모없는 디렉토리와, 백업파일 자신을 꼭 제외시켜주어야 한다. 또한 다른 파티션의 하드를 마운트한 /mnt 등의 디렉토리도 제외시켜야 불필요한 용량증가와 시간을 줄일 수 있다. . /media, /dev 등의 디렉토리도 빼주자. /sys, /dev 는 가상적인 디렉토리이다. 백업이 완료된 후 에러 문구를 볼수가 있는데 대부분의 경우 무시해도 된다….

백업

1. 권한획득, 루트로 이동

  su
  cd /

2.전체 시스템을 백업

tar cvpzf backup.tgz.gz --exclude=/proc --exclude=/lost+found --exclude=/media \
--exclude=/backup.tgz --exclude=/mnt --exclude=/sys /

그러니까 루트 권한으로 바꾸고 나서 최상위 리스트로 올라가서 tar 명령어를 적용하는데 압축 파일이름은 backup.tgz.gz 로 하고 압축시 /proc , /lost+found , /mnt , /sys, /media 는 제외하자는 것이다. 그런 후에 backup.tgz.gz 파일을 dvd로 굽든 랜으로 다른 컴터로 옮기든 하면 된다.

옵션

지정한 옵션으로는, z (압축; 백업 자료를 gzip 을 이용하여 압축한다), c (생성; 새로운 저장 파일을 만든다), v (수다; 백업이 되고 있는 파일의 목록을 보여준다), p (퍼미션 보존; 파일 보호를 위한 정보는 복구할 수 있도록 "기억해" 둔다) 가 있다. 그 외에도, f (파일) 옵션은 그 다음의 인자가 생성할 저장 파일 (또는 장치) 의 이름이라는 것을 나타낸다. 파일 이름에 오늘 날짜를 넣기 위하여 어떻게 했는지 보면, date 명령을 두개의 역따옴표로 둘러싸서 만들어내고 있다. 일반적으로 사용되는 이름 규칙은 압축되지 않은 저장 파일에는 tar 를 뒤에 붙이고, 압축된 저장파일의 경우에는 tar.gz 를 뒤에 붙이는 것이다.

좀 더 간단한 것

홈은 따로 백업하는 것이 낫다.

sudo su
cd /
tar -cvpzf backup.tar.gz --exclude=/backup.tar.gz --exclude=/home --one-file-system / 
tar -cvpzf backuphome.tar.gz --one-file-system /home/

–one-file-system 이 옵션은 다른 파일시스템으로 된 폴더는 백업하지 않는다. 예를 들어 /proc, /sys, /mnt, /media, /run & /dev 등 이다.

tar -cvpzf /home/backup/backup/backup.tar.gz   --exclude=/home --one-file-system /
#!/bin/bash
# 시스템 백업
su
cd /
export Today="`date '+%y-%m-%d'`"
tar cvpzf /home/backup/backup/ssd$Today.tgz.gz \
--exclude=/home \
--one-file-system  /

시간이 많이 걸리고, CPU를 많이 소모하므로 접속이 적은 시간 (주로 새벽3-4시)를 이용한다.

정리 스크립트

10일이 지난 파일들을 삭제한다. 주의해서 사용할 것

#!/bin/bash
find /backup/ -type f -mtime +10 | sort | xargs rm -f

복구

1. 루트로 이동

  cd /

2. 압축을 풀어 복구

  tar xvpfz backup.tar.gz -C /

마지막의 -C / 옵션때문에 백업파일이 루트가 아닌 다른 곳에 저장되어있는 상태라도 상관없다.

백업에서 제외했던 디렉토리는 직접 만들어 주어라

  mkdir proc
  mkdir lost+found
  mkdir mnt
  mkdir sys

재부팅을 하면 백업전과 똑같은 상태로 돌아 갈 것이다.

기존 하드와 똑같게 복사해 놓는 방법

시스템을 잠시라도 정지해서는 안되는 중요한 시스템의 경우는 별도의 하드에 기존 하드와 똑같게 복사해 놓는 방법이다. 별도의 하드는 백업시에만 마운트해 사용하고 그 외의 시간에는 umount 하므로 해킹을 당하는 경우도 비교적 안전하다. 이 경우 메인 하드에 이상이 발생하면 두 번째 하드로 케이블 연결만 변경하면 되므로 다운 시간은 5분 이내 일 것이다. 원본 시스템이 깔린 하드 A가 있고 그 시스템을 똑같이 복사할 하드 B가 있다고 하면 하드 B를 하드 A에 케이블로 연결을 해서 아래 명령어를 적용시키면 된다.

  sudo su
  cat (하드A) > (하드B)

만약 하드 A 위치가 /dev/hdb이고 하드 B 위치가 /dev/hdc라면 이렇게 되는거죠. (sudo cat … .. 이런 것으로는 안됨)

  cat /dev/hdb > /dev/hdc
  • 하드A의 내용이 하드B에 완전히 모조리 똑같이 백업된다.
  • 부트영역, 파티션과 시스템 디바이스 관련된 것도 같이 가니까 사용할 컴터 스펙과 HDD자체도 동일해야 한다.
  • 용량이 더 큰 HDD로 옮겼다면 이전의 작은 용량밖에 사용할 수 없다. GParted를 사용해서 파티션 복구 및 확장을 한다. 만약 LVM이면 http://blog.mongee.net/6 참조해서 LVM 확장을 해준다.

데이터만 백업

가급적 리눅스와 데이터를 별개의 파티션에 분리하는 것이 좋다. 리눅스는 거의 설정이 바뀌지 않으므로 1주 일에 1회 정도 백업하고 데이터만 매일 백업하는게 낫기 때문이다. 사용하는 명령은 tar가 가장 낫다.

예를들어 /pub 의 내용을 다른 하드에 그대로 복사한다면 아래 명령을 사용하면 된다.

1) 백업 하드를 임의의 디렉토리에 마운트한다.

   mount /dev/sda1 /mnt

2) /pub 디렉토리의 모든 파일을 백업 하드에 복사한다.

   cd /pub 
   tar cf - * | ( cd /mnt ; tar xvf - )

3) 백업하드를 umount 한다.

   umount /mnt

특정폴더 백업 스크립트

#!/bin/bash
# 특정폴더 제외하고 압축
export Today="`date '+%y-%m-%d'`"
tar czpf data-$Today.tar.gz \
--exclude=html/data/cache \
--exclude=html/data/media \
html/data

Mysql의 전체 데이타베이스 백업

백업형식 :

 mysqldump -u root -p --all-databases > /mnt/data/backup/mysql_` date '+%Y%m%d'`.sql; gzip  /mnt/data/backup/*.sql

복구형식 :

 mysql -u root -p < 파일명.sql

원본 데이타베이스명과 동일한 디비가 생성됨 - 기존 테이블 삭제 후 백업된 파일로 복구를 위한 백업 (mysqldump문으로 데이타베이스 백업 시 각각의 create table문 앞에 drop table문을 삽입한 형태가 된다)

기존 테이블을 삭제하고 복구한다는것에 유의

번호 제목 글쓴이 날짜 조회 수
541 "File /user/hadoop/share/lib does not exist" 오류 해결방법 총관리자 2015.06.07 660
540 springframework를 이용한 war를 생성하는 build.gradle파일(참고용) 총관리자 2016.08.19 653
539 fuseki용 config-examples.ttl 예시 내용 총관리자 2017.05.17 651
538 hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 merge하여 동일한 테이블에 입력하는 방법 총관리자 2019.05.23 645
537 uEnv.txt위치및 내용 총관리자 2014.07.09 645
536 hue.desktop_document2의 type의 종류 총관리자 2020.02.10 634
535 Flume을 이용한 데이타 수집시 HBase write 성능 튜닝 file 총관리자 2016.10.31 634
534 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 총관리자 2016.07.13 634
533 Halyard - RDF4J와 Apache HBase를 이용하여 구현된 TripleStore이며 SPARQL 1.1쿼리를 지원한다. 총관리자 2016.12.29 632
532 kafka-manager 1.3.3.4 설정및 실행하기 총관리자 2017.03.20 623
531 hadoop 클러스터 실행 스크립트 정리 총관리자 2018.03.20 616
530 [Sentry]HDFS의 ACL을 Sentry와 연동후 테스트 총관리자 2020.06.02 614
529 spark, kafka, mariadb, jena, springframework등을 이용하여 공통모듈을 jar로 만들기 위한 build.gradle파일(참고용) 총관리자 2016.08.19 614
528 초기 오류(java.lang.NoSuchMethodError)에 따른 후속 작업에서 오류(java.lang.NoClassDefFoundError)가 발생되는 상황(quartz에서 주기적으로 작업시) 총관리자 2016.08.29 606
527 solr에서 한글사용시 주의점 총관리자 2014.09.26 605
526 lubuntu 호스트 네임변경 총관리자 2014.08.03 603
525 Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 총관리자 2015.05.17 600
524 root가 localhost에서 mysql로 접근하지 못하는 경우의 해결방법(패스워드) 총관리자 2014.09.10 597
523 [SBT] assembly시 "[error] deduplicate: different file contents found in the following:"오류 발생시 조치사항 총관리자 2016.08.04 590
» [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 총관리자 2022.01.19 586

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로