메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


oozie Oozie 설치, 환경설정 및 테스트

총관리자 2014.04.08 16:47 조회 수 : 1405

Oozie 설치, 환경설정 및 테스트
1. Oozie를 다운받아 압축을 푼다.

mkdir build
cd build #빌드해야되므로 따로 공간을 만든다.
wget http://mirror.apache-kr.org/oozie/3.3.2/oozie-3.3.2.tar.gz
tar zxvf oozie-3.3.2.tar.gz

2. Oozie 빌드

cd ~/build/oozie-3.3.2/bin
./mkdistro.sh -DskipTests

3. Oozie 설치

cp ~/build/oozie-3.3.2/distro/target/oozie-3.3.2-distro.tar.gz ~
cd ~
tar zxvf oozie-3.3.2-distro.tar.gz
mkdir ~/oozie-3.3.2/libext

4. Oozie 환경변수 설정

vi .bash_profile
export OOZIE_HOME=/home/bigdata/oozie-3.3.2
export PATH=$PATH:$OOZIE_HOME/bin

5. 라이브러리 세팅

cp ~/hadoop-1.2.1/lib/*.jar ~/oozie-3.3.2/libext
cp ~/hadoop-1.2.1/*.jar ~/oozie-3.3.2/libext
cd ~/oozie-3.3.2/libext
wget http://extjs.com/deploy/ext-2.2.zip

6. Oozie configuration

cd $OOZIE_HOME
bin/oozie-setup.sh prepare-war -extjs ./libext/ext-2.2.zip

INFO: Oozie is ready to be started

bin/ooziedb.sh create -sqlfile oozie.sql -run

Oozie DB has been created for Oozie version '3.3.2'
The SQL commands have been written to: oozie.sql

7. 테스트

1) hadoop에 oozie example 적재
cd $OOZIE_HOME
tar zxvf oozie-examples.tar.gz
hadoop fs -put examples examples

2) example 프로퍼티 파일에 hadoop Namenode와 jobtracker 정보 설정
vi examples/apps/map-reduce/job.properties
nameNode=hdfs://localhost:9000 #디폴트로 설정된 포트가 다르므로 주의
jobTracker=localhost:9001 #디폴트로 설정된 포트가 다르므로 주의
:wq

3) hadoop 설정파일에 oozie 프록시 설정
cd ~/hadoop-1.2.1/conf
vi core-site.xml

< property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.hosts -->
<value>localhost</value>
< /property>

< property>
<name>hadoop.proxyuser.bigdata.groups</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.groups -->
<value>bigdata</value> <!-- oozie 실행계정 그룹 -->
< /property>

4) hadoop 기동
start-all.sh

5) oozie 기동
oozie-start.sh

6) example실행
cd $OOZIE_HOME
oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

7) 확인
콘솔 : http://localhost:11000/oozie
프롬프트 : oozie jobs -oozie http://localhost:11000/oozie
oozie job -oozie http://localhost:11000/oozie -info {Job ID}
번호 제목 날짜 조회 수
641 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 1279
640 RHadoop을 통해서 웹사이트의 방문자수를 예측하는 방법 2014.09.26 2075
639 solr에서 한글사용시 주의점 2014.09.26 731
638 solr설치및 적용관련 file 2014.09.27 2205
637 solr vs elasticsearch 비교2 2014.09.29 1431
636 [번역] solr 검색 엔진 튜토리얼 2014.10.07 596
635 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 1057
634 kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 2015.03.31 404
633 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 2015.04.02 802
632 scan의 startrow, stoprow지정하는 방법 2015.04.08 558
631 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 19290
630 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 2015.04.27 542
629 zookeeper 3.4.6 설치(3대) 2015.04.28 1296
628 Hadoop - 클러스터 세팅및 기동 2015.04.28 509
627 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1241
626 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 2015.04.30 604
625 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1232
624 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 2015.05.05 3845
623 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 502
622 znode /hbase recursive하게 지우기 2015.05.06 739
위로