메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. oozie를 compile하면 oozie-sharelib-4.1.0.tar.gz가 생성되는데 이 파일을 압축해제 하여 HDFS상에 등록해서 oozie job을 실행할때

   공통라이브러리로 사용하게 한다.


2. 압축풀기

  tar xvfz oozie-sharelib-4.1.0.tar.gz


3. sharelib HDFS에 등록 

  hadoop fs -put share /user/hadoop


4. oozie job만들때 job.properties에 아래와 같이 true로 지정해준다.

   두번째는 별도로 라이브러리를 지정해줄때 사용한다.

oozie.use.system.libpath=true

oozie.libpath=/user/hadoop/share/lib/hive


5. 위와 같이하면 "File /user/hadoop/share/lib does not exist"와 같은 오류가 발생하는데 이때는 oozie-site.mxl을 수정해준다.

  <property>

        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

        <!-- value>*=hadoop-conf</value -->

        <value>*=/hadoop/hadoop/etc/hadoop/</value>

        <description>

            Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of

            the Hadoop service (JobTracker, HDFS). The wildcard '*' configuration is

            used when there is no exact match for an authority. The HADOOP_CONF_DIR contains

            the relevant Hadoop *-site.xml files. If the path is relative is looked within

            the Oozie configuration directory; though the path can be absolute (i.e. to point

            to Hadoop client conf/ directories in the local filesystem.

        </description>

    </property>


    <property>

        <name>oozie.service.WorkflowAppService.system.libpath</name>

        <!-- value>/user/${user.name}/share/lib</value -->

        <value>hdfs:///user/${user.name}/share/lib</value>

        <description>

            System library path to use for workflow applications.

            This path is added to workflow application if their job properties sets

            the property 'oozie.use.system.libpath' to true.

        </description>

    </property>


6. oozie 재기동

  oozied.sh restart

번호 제목 날짜 조회 수
23 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 2023.07.26 168
22 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 264
21 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 2022.11.10 1567
20 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 1147
19 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 1452
18 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 1516
17 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 1150
16 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 223
15 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 1205
14 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 2020.06.05 896
13 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 2020.05.11 823
12 oozie WF에서 참고할만한 내용 2019.07.18 353
» "File /user/hadoop/share/lib does not exist" 오류 해결방법 2015.06.07 1268
10 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 2015.06.07 1335
9 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 1307
8 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1353
7 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 2014.06.03 959
6 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 2014.06.02 1005
5 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 1790
4 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 1160
위로