메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


oozie Oozie 설치, 환경설정 및 테스트

총관리자 2014.04.08 16:47 조회 수 : 4612

Oozie 설치, 환경설정 및 테스트
1. Oozie를 다운받아 압축을 푼다.

mkdir build
cd build #빌드해야되므로 따로 공간을 만든다.
wget http://mirror.apache-kr.org/oozie/3.3.2/oozie-3.3.2.tar.gz
tar zxvf oozie-3.3.2.tar.gz

2. Oozie 빌드

cd ~/build/oozie-3.3.2/bin
./mkdistro.sh -DskipTests

3. Oozie 설치

cp ~/build/oozie-3.3.2/distro/target/oozie-3.3.2-distro.tar.gz ~
cd ~
tar zxvf oozie-3.3.2-distro.tar.gz
mkdir ~/oozie-3.3.2/libext

4. Oozie 환경변수 설정

vi .bash_profile
export OOZIE_HOME=/home/bigdata/oozie-3.3.2
export PATH=$PATH:$OOZIE_HOME/bin

5. 라이브러리 세팅

cp ~/hadoop-1.2.1/lib/*.jar ~/oozie-3.3.2/libext
cp ~/hadoop-1.2.1/*.jar ~/oozie-3.3.2/libext
cd ~/oozie-3.3.2/libext
wget http://extjs.com/deploy/ext-2.2.zip

6. Oozie configuration

cd $OOZIE_HOME
bin/oozie-setup.sh prepare-war -extjs ./libext/ext-2.2.zip

INFO: Oozie is ready to be started

bin/ooziedb.sh create -sqlfile oozie.sql -run

Oozie DB has been created for Oozie version '3.3.2'
The SQL commands have been written to: oozie.sql

7. 테스트

1) hadoop에 oozie example 적재
cd $OOZIE_HOME
tar zxvf oozie-examples.tar.gz
hadoop fs -put examples examples

2) example 프로퍼티 파일에 hadoop Namenode와 jobtracker 정보 설정
vi examples/apps/map-reduce/job.properties
nameNode=hdfs://localhost:9000 #디폴트로 설정된 포트가 다르므로 주의
jobTracker=localhost:9001 #디폴트로 설정된 포트가 다르므로 주의
:wq

3) hadoop 설정파일에 oozie 프록시 설정
cd ~/hadoop-1.2.1/conf
vi core-site.xml

< property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.hosts -->
<value>localhost</value>
< /property>

< property>
<name>hadoop.proxyuser.bigdata.groups</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.groups -->
<value>bigdata</value> <!-- oozie 실행계정 그룹 -->
< /property>

4) hadoop 기동
start-all.sh

5) oozie 기동
oozie-start.sh

6) example실행
cd $OOZIE_HOME
oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

7) 확인
콘솔 : http://localhost:11000/oozie
프롬프트 : oozie jobs -oozie http://localhost:11000/oozie
oozie job -oozie http://localhost:11000/oozie -info {Job ID}
번호 제목 날짜 조회 수
36 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 6652
35 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 6262
34 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 4968
33 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 4967
32 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 4903
31 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 4899
30 zookeeper 3.4.6 설치(3대) 2015.04.28 4710
29 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 4687
28 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 4618
» Oozie 설치, 환경설정 및 테스트 2014.04.08 4612
26 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 2023.07.26 4606
25 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 4588
24 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 4558
23 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 4514
22 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. 2022.05.16 4484
21 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 2014.06.03 4451
20 Cloudera Manager의 Java Heap Size변경하는 방법 2022.06.27 4434
19 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified 2023.02.02 4339
18 [KTS Cluster의 Key Trustee Server]self-signed 인증서 발급및 설정 방법 2023.06.27 4323
17 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 2023.04.18 4297
위로