Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
share/lib/pig/*
share/lib/streaming/*
share/lib/hive/*
share/lib/sqoop/*
oozie가 수행될때 action type별로 필요로 하는 jars들이 다르므로 각각의 폴더를 위에 처럼 구성하고 그 밑에 각각의 lib/*.* 넣는다.
hadoop fs -put lib/*.* /user/hadoop/share/lib/hive명령으로 넣고 job.properties에서 아래 부분을 추가하여 사용함
(그래야 동일한 jar가 각각의 jar버젼에 따르는 문제를 발생시키지 않게 됨)
oozie.use.system.libpath=true
oozie.libpath=${nameNode}/user/hadoop/share/lib/hive
-------------------------------------------------------------------------------------------------------------
예를 들어 hive action인경우..
1. hadoop@bigdata-host:~/hive/lib$ hadoop fs -mkdir share/lib/hive
2. cd /home/hadoop/hive/lib
2. hadoop@bigdata-host:~/hive/lib$ hadoop fs -put *.* share/lib/hive
-------------------------------------------oozie-site.xml-----------------------------------------------------------------
<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/${user.name}/share/lib</value>
<description>
System library path to use for workflow applications.
This path is added to workflow application if their job properties sets
the property 'oozie.use.system.libpath' to true.
</description>
</property>