Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
#!/bin/bash
kinit -k -t /var/lib/keytab/hadoop.keytab hadoop@GOOPER.COM
usage="Usage: del_diff.sh [days] [delete target path]"
if [[ $# != 2 ]]
then
echo $usage
exit 1
fi
path=${2}
echo "delete target path : " $path
now=$(date +%s)
echo "old file date point : " $now
hdfs dfs -ls $path | while read f; do
dir_date=`echo $f | awk '{print $6}'`
#180일
difference=$(( ( $now - $(date -d "$dir_date" +%s) ) / (24 * 60 * 60) ))
if [ $difference -gt $1 ]; then
if [[ `echo $f | awk '[ print $8 }'` == *$path* ]]; then
hdfs dfs -rm `echo $f| awk '{ print $8 }'`;
else
echo 'else - target path is [' `echo $f| awk '{ print $8 }'` '] not contain this path [' $path ']'
fi
fi
done
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
7 | Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 | 총관리자 | 2018.09.20 | 231 |
» | 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 | 총관리자 | 2019.06.14 | 365 |
5 | A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 | 총관리자 | 2020.05.06 | 85 |
4 | W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 | 총관리자 | 2020.05.08 | 2119 |
3 | missing block및 관련 파일명 찾는 명령어 | 총관리자 | 2021.02.20 | 168 |
2 | hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) | 총관리자 | 2022.01.07 | 149 |
1 | [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 | gooper | 2023.11.01 | 17 |