Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
아래는 "./put.sh list1"과 같이 console에서 실행하면 list1이라는 파일(HDFS에 등록하려는 파일명일 들어있음)을 한줄씩 읽어 hdfs dfs -put 명령을 실행하는 shell script를 보여준다.
----------put.sh-------------
while read file_name
do
#echo "Putting /home/gooper/lubm/lubm20000/${file_name} to hdfs://mycluster/user/gooper/lubm20000/$1/${file_name} ...."
echo "$HOME/hadoop/bin/hdfs dfs -put /home/gooper/lubm/lubm20000/${file_name} hdfs://mycluster/user/gooper/lubm20000/$1/${file_name}"
$HOME/hadoop/bin/hdfs dfs -put /home/gooper/lubm/lubm20000/${file_name} hdfs://mycluster/user/gooper/lubm20000/$1/${file_name}
done < $1
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| 8 | CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. | 2016.03.14 | 372 |
| 7 | [CentOS] 네트워크 설정 | 2018.03.26 | 387 |
| 6 | [shell script]test.txt에 space로 분리된 내용을 일어들이는 예제 | 2017.02.21 | 409 |
| 5 | nc -l 7777 : 7777포트에서 입력을 받는다. | 2017.03.23 | 422 |
| 4 | 프로세스를 확인해서 프로세스를 삭제하는 shell script예제(cryptonight) | 2018.02.02 | 422 |
| » | [shell script] 파일을 한줄씩 읽어서 파일내용으로 명령문 만들고 실행하는 shell script예제 | 2017.02.21 | 426 |
| 2 | linux에서 특정 포트를 사용하는 프로세스 확인하기 | 2017.04.26 | 457 |
| 1 | centsOS vsftpd설치하기 | 2013.12.17 | 1602 |