메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플

총관리자 2019.06.14 10:21 조회 수 : 593

#!/bin/bash

kinit -k -t /var/lib/keytab/hadoop.keytab hadoop@GOOPER.COM


usage="Usage: del_diff.sh [days] [delete target path]"


if [[ $# != 2 ]]

then

   echo $usage

   exit 1

fi


path=${2}

echo "delete target path : " $path


now=$(date +%s)

echo "old file date point : " $now


hdfs dfs -ls $path | while read f; do

dir_date=`echo $f | awk '{print $6}'`

#180일

difference=$(( ( $now - $(date -d "$dir_date"  +%s) ) / (24 * 60 * 60) ))

if [ $difference -gt $1 ]; then

  if [[ `echo $f | awk '[ print $8 }'` == *$path* ]]; then

      hdfs dfs -rm `echo $f| awk '{ print $8 }'`;

  else

     echo 'else - target path is [' `echo $f| awk '{ print $8 }'` '] not contain this path [' $path ']'

  fi

fi

done

이 게시물을
이 글의 추천인 목록 목록
쓰기 태그
위로