Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
아래는 "./put.sh list1"과 같이 console에서 실행하면 list1이라는 파일(HDFS에 등록하려는 파일명일 들어있음)을 한줄씩 읽어 hdfs dfs -put 명령을 실행하는 shell script를 보여준다.
----------put.sh-------------
while read file_name
do
#echo "Putting /home/gooper/lubm/lubm20000/${file_name} to hdfs://mycluster/user/gooper/lubm20000/$1/${file_name} ...."
echo "$HOME/hadoop/bin/hdfs dfs -put /home/gooper/lubm/lubm20000/${file_name} hdfs://mycluster/user/gooper/lubm20000/$1/${file_name}"
$HOME/hadoop/bin/hdfs dfs -put /home/gooper/lubm/lubm20000/${file_name} hdfs://mycluster/user/gooper/lubm20000/$1/${file_name}
done < $1
