메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


oozie Oozie 설치, 환경설정 및 테스트

총관리자 2014.04.08 16:47 조회 수 : 1404

Oozie 설치, 환경설정 및 테스트
1. Oozie를 다운받아 압축을 푼다.

mkdir build
cd build #빌드해야되므로 따로 공간을 만든다.
wget http://mirror.apache-kr.org/oozie/3.3.2/oozie-3.3.2.tar.gz
tar zxvf oozie-3.3.2.tar.gz

2. Oozie 빌드

cd ~/build/oozie-3.3.2/bin
./mkdistro.sh -DskipTests

3. Oozie 설치

cp ~/build/oozie-3.3.2/distro/target/oozie-3.3.2-distro.tar.gz ~
cd ~
tar zxvf oozie-3.3.2-distro.tar.gz
mkdir ~/oozie-3.3.2/libext

4. Oozie 환경변수 설정

vi .bash_profile
export OOZIE_HOME=/home/bigdata/oozie-3.3.2
export PATH=$PATH:$OOZIE_HOME/bin

5. 라이브러리 세팅

cp ~/hadoop-1.2.1/lib/*.jar ~/oozie-3.3.2/libext
cp ~/hadoop-1.2.1/*.jar ~/oozie-3.3.2/libext
cd ~/oozie-3.3.2/libext
wget http://extjs.com/deploy/ext-2.2.zip

6. Oozie configuration

cd $OOZIE_HOME
bin/oozie-setup.sh prepare-war -extjs ./libext/ext-2.2.zip

INFO: Oozie is ready to be started

bin/ooziedb.sh create -sqlfile oozie.sql -run

Oozie DB has been created for Oozie version '3.3.2'
The SQL commands have been written to: oozie.sql

7. 테스트

1) hadoop에 oozie example 적재
cd $OOZIE_HOME
tar zxvf oozie-examples.tar.gz
hadoop fs -put examples examples

2) example 프로퍼티 파일에 hadoop Namenode와 jobtracker 정보 설정
vi examples/apps/map-reduce/job.properties
nameNode=hdfs://localhost:9000 #디폴트로 설정된 포트가 다르므로 주의
jobTracker=localhost:9001 #디폴트로 설정된 포트가 다르므로 주의
:wq

3) hadoop 설정파일에 oozie 프록시 설정
cd ~/hadoop-1.2.1/conf
vi core-site.xml

< property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.hosts -->
<value>localhost</value>
< /property>

< property>
<name>hadoop.proxyuser.bigdata.groups</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.groups -->
<value>bigdata</value> <!-- oozie 실행계정 그룹 -->
< /property>

4) hadoop 기동
start-all.sh

5) oozie 기동
oozie-start.sh

6) example실행
cd $OOZIE_HOME
oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

7) 확인
콘솔 : http://localhost:11000/oozie
프롬프트 : oozie jobs -oozie http://localhost:11000/oozie
oozie job -oozie http://localhost:11000/oozie -info {Job ID}
번호 제목 날짜 조회 수
641 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 2014.05.09 1596
640 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 2014.08.19 1595
639 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 1574
638 hiverserver2기동시 connection refused가 발생하는 경우 조치방법 2014.05.22 1558
637 ExWordCount jar파일 file 2013.03.06 1555
636 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 2015.12.01 1546
635 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 2014.09.10 1504
634 The disk drive for uuid= is not ready yet or not present 오류 해결방법 2014.04.21 1491
633 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 1487
632 ubuntu 커널 업그레이드 방법 2018.09.02 1483
631 build.gradle을 pom.xml로 변환하는 방법 2016.08.18 1478
630 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 2016.07.08 1457
629 Mybatis foreach 문법정리(상황에 따른 사용법) 2015.11.10 1454
628 solr vs elasticsearch 비교2 2014.09.29 1424
627 crypto관련 기생충 박멸 스크립트 2018.05.11 1421
626 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 2017.06.30 1419
625 lagom-linux용 build.sbt파일 내용 2017.10.12 1415
» Oozie 설치, 환경설정 및 테스트 2014.04.08 1404
623 우분투 root 패스워드 설정하기 2013.03.04 1393
622 자주쓰는 유용한 프로그램 2018.03.16 1385
위로