1. Oozie를 다운받아 압축을 푼다.
mkdir build
cd build #빌드해야되므로 따로 공간을 만든다.
wget http://mirror.apache-kr.org/oozie/3.3.2/oozie-3.3.2.tar.gz
tar zxvf oozie-3.3.2.tar.gz
2. Oozie 빌드
cd ~/build/oozie-3.3.2/bin
./mkdistro.sh -DskipTests
3. Oozie 설치
cp ~/build/oozie-3.3.2/distro/target/oozie-3.3.2-distro.tar.gz ~
cd ~
tar zxvf oozie-3.3.2-distro.tar.gz
mkdir ~/oozie-3.3.2/libext
4. Oozie 환경변수 설정
vi .bash_profile
export OOZIE_HOME=/home/bigdata/oozie-3.3.2
export PATH=$PATH:$OOZIE_HOME/bin
5. 라이브러리 세팅
cp ~/hadoop-1.2.1/lib/*.jar ~/oozie-3.3.2/libext
cp ~/hadoop-1.2.1/*.jar ~/oozie-3.3.2/libext
cd ~/oozie-3.3.2/libext
wget http://extjs.com/deploy/ext-2.2.zip
6. Oozie configuration
cd $OOZIE_HOME
bin/oozie-setup.sh prepare-war -extjs ./libext/ext-2.2.zip
INFO: Oozie is ready to be started
bin/ooziedb.sh create -sqlfile oozie.sql -run
Oozie DB has been created for Oozie version '3.3.2'
The SQL commands have been written to: oozie.sql
7. 테스트
1) hadoop에 oozie example 적재
cd $OOZIE_HOME
tar zxvf oozie-examples.tar.gz
hadoop fs -put examples examples
2) example 프로퍼티 파일에 hadoop Namenode와 jobtracker 정보 설정
vi examples/apps/map-reduce/job.properties
nameNode=hdfs://localhost:9000 #디폴트로 설정된 포트가 다르므로 주의
jobTracker=localhost:9001 #디폴트로 설정된 포트가 다르므로 주의
:wq
3) hadoop 설정파일에 oozie 프록시 설정
cd ~/hadoop-1.2.1/conf
vi core-site.xml
< property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.hosts -->
<value>localhost</value>
< /property>
< property>
<name>hadoop.proxyuser.bigdata.groups</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.groups -->
<value>bigdata</value> <!-- oozie 실행계정 그룹 -->
< /property>
4) hadoop 기동
start-all.sh
5) oozie 기동
oozie-start.sh
6) example실행
cd $OOZIE_HOME
oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run
7) 확인
콘솔 : http://localhost:11000/oozie
프롬프트 : oozie jobs -oozie http://localhost:11000/oozie
oozie job -oozie http://localhost:11000/oozie -info {Job ID}
Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| 42 | json 값 다루기 | 2014.04.17 | 1425 |
| 41 | 통계자료 구할수 있는 곳 | 2014.04.16 | 2044 |
| 40 | column family삭제시 Column family 'delete' does not exist오류 발생하는 경우 | 2014.04.14 | 1058 |
| 39 | hive에서 생성된 external table에서 hbase의 table에 값 insert하기 | 2014.04.11 | 1865 |
| » | Oozie 설치, 환경설정 및 테스트 | 2014.04.08 | 1737 |
| 37 | 다수의 로그 에이전트로 부터 로그를 받아 각각의 파일로 저장하는 방법(interceptor및 multiplexing) | 2014.04.04 | 4202 |
| 36 | external partition table생성및 data확인 | 2014.04.03 | 1590 |
| 35 | 동일서버에서 LA와 LC동시에 기동하여 테스트 | 2014.04.01 | 1105 |
| 34 | 의사분산모드에서 presto설치하기 | 2014.03.31 | 3306 |
| 33 | Hive Query Examples from test code (2 of 2) | 2014.03.26 | 11535 |
| 32 | Hive Query Examples from test code (1 of 2) | 2014.03.26 | 1389 |
| 31 | hadoop설치시 오류 | 2013.12.18 | 2731 |
| 30 | centsOS vsftpd설치하기 | 2013.12.17 | 1935 |
| 29 | ubuntu에 hadoop 2.0.5설치하기 | 2013.12.16 | 2011 |
| 28 | centos 5.X에 hadoop 2.0.5 alpha 설치 | 2013.12.16 | 1739 |
| 27 | hbase에 필요한 jar들 | 2013.04.01 | 2247 |
| 26 |
Hive java connection 설정
 | 2013.04.01 | 2310 |
| 25 | Hbase Shell 명령 정리 | 2013.04.01 | 3466 |
| 24 |
HBASE Client API : 기본 기능 정리
| 2013.04.01 | 3781 |
| 23 | 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 | 2013.03.15 | 5763 |