메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. oozie를 compile하면 oozie-sharelib-4.1.0.tar.gz가 생성되는데 이 파일을 압축해제 하여 HDFS상에 등록해서 oozie job을 실행할때

   공통라이브러리로 사용하게 한다.


2. 압축풀기

  tar xvfz oozie-sharelib-4.1.0.tar.gz


3. sharelib HDFS에 등록 

  hadoop fs -put share /user/hadoop


4. oozie job만들때 job.properties에 아래와 같이 true로 지정해준다.

   두번째는 별도로 라이브러리를 지정해줄때 사용한다.

oozie.use.system.libpath=true

oozie.libpath=/user/hadoop/share/lib/hive


5. 위와 같이하면 "File /user/hadoop/share/lib does not exist"와 같은 오류가 발생하는데 이때는 oozie-site.mxl을 수정해준다.

  <property>

        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

        <!-- value>*=hadoop-conf</value -->

        <value>*=/hadoop/hadoop/etc/hadoop/</value>

        <description>

            Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of

            the Hadoop service (JobTracker, HDFS). The wildcard '*' configuration is

            used when there is no exact match for an authority. The HADOOP_CONF_DIR contains

            the relevant Hadoop *-site.xml files. If the path is relative is looked within

            the Oozie configuration directory; though the path can be absolute (i.e. to point

            to Hadoop client conf/ directories in the local filesystem.

        </description>

    </property>


    <property>

        <name>oozie.service.WorkflowAppService.system.libpath</name>

        <!-- value>/user/${user.name}/share/lib</value -->

        <value>hdfs:///user/${user.name}/share/lib</value>

        <description>

            System library path to use for workflow applications.

            This path is added to workflow application if their job properties sets

            the property 'oozie.use.system.libpath' to true.

        </description>

    </property>


6. oozie 재기동

  oozied.sh restart

번호 제목 날짜 조회 수
141 부팅을 외장하드에서 하도록 변경하는 방법 2015.07.28 823
140 바나나 파이의 /tmp폴더를 외장하드로 변경하기 2015.07.24 624
139 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 2015.06.17 1050
138 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 2046
137 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 2015.06.14 862
136 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpConfig.getSchemePrefix()Ljava/lang/String; 해결->실패 2015.06.14 520
135 hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail 2015.06.11 2004
» "File /user/hadoop/share/lib does not exist" 오류 해결방법 2015.06.07 1260
133 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 2015.06.07 1270
132 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 2015.06.05 1171
131 센서테스트 file 2015.05.25 287
130 apk 파일 위치 file 2015.05.25 2352
129 HAX is not working and emulator runs in emulation mode 메세지가 나오는 경우 file 2015.05.25 345
128 hbase shell 필드 검색 방법 2015.05.24 2235
127 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 2015.05.21 1684
126 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 1267
125 Permission denied: user=hadoop, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx--- 오류해결방법 2015.05.17 551
124 Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 2015.05.17 1133
123 secureCRT에서 backspace키가 작동하지 않는 경우 해결방법 2015.05.11 1512
122 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 2015.05.08 1152
위로