Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1. coordinator.xml에서 아래와 같이 <datasets></datasets>을 추가해주면 <done-flag></done-flag>사이에 지정된 파일이 <uri-template></uri-template>사이의 경로에 생성되어야만 action이 실행되도록 할 수 있다.
-----------------------------------------------------------------coordinator.xml-------------------------------------------------------------------------------------
<coordinator-app name="${scenarioNo}-s-C" frequency="${coord:minutes(1)}" start="${startTime}" end="${endTime}"
timezone="UTC" xmlns="uri:oozie:coordinator:0.1">
<controls>
<concurrency>1</concurrency>
</controls>
<datasets>
<dataset name="logs" frequency="${coord:minutes(1)}"
initial-instance="${startTime}" timezone="UTC">
<uri-template>
${nameNode}/data1/cas/output/s1/${YEAR}/${MONTH}/${DAY}
</uri-template>
<done-flag>000000_0</done-flag>
</dataset>
</datasets>
<input-events>
<data-in name="input" dataset="logs">
<instance>${startTime2}</instance>
</data-in>
</input-events>
<action>
<workflow>
<app-path>${nameNode}/data1/cas/scenario/${scenarioNo}/sqoop</app-path>
<configuration>
<property>
<name>jobTracker</name>
<value>${jobTracker}</value>
</property>
<property>
<name>nameNode</name>
<value>${nameNode}</value>
</property>
<property>
<name>queueName</name>
<value>${queueName}</value>
</property>
<property>
<name>wfInput</name>
<value>${coord:dataIn('input')}</value>
</property>
<property>
<name>iyear</name>
<!-- <value>${coord:formatTime(coord:nominalTime(),"yyyy")}</value> -->
<value>${coord:formatTime(coord:actualTime(),"yyyy")}</value>
</property>
<property>
<name>imonth</name>
<!-- <value>${coord:formatTime(coord:nominalTime(),"MM")}</value> -->
<value>${coord:formatTime(coord:actualTime(),"MM")}</value>
</property>
<property>
<name>iday</name>
<!-- <value>${coord:formatTime(coord:nominalTime(),"dd")}</value> -->
<value>${coord:formatTime(coord:actualTime(),"dd")}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>
댓글 0
번호 | 제목 | 날짜 | 조회 수 |
---|---|---|---|
161 | mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 | 2015.12.22 | 513 |
160 | console명령과 API비교 | 2015.12.21 | 484 |
159 | java quartz 시간 설정 참고사항 | 2015.12.16 | 300 |
158 | 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 | 2015.12.16 | 191 |
157 | 대표 오픈소스 라이선스, 한 눈에 보기! | 2015.12.10 | 226 |
156 | sparql 문법구조 설명 | 2015.12.09 | 490 |
155 | git설명 한글판 | 2015.12.09 | 440 |
154 | protege 4.3 다운로드 | 2015.12.09 | 227 |
153 | ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 | 2015.12.08 | 490 |
152 | 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 | 2015.12.01 | 1546 |
151 | sparql에서 concat에제 | 2015.11.27 | 238 |
150 | Runtime.getRuntime().exec(cmd) sample 소스 | 2015.11.19 | 359 |
149 | Resource temporarily unavailable(자원이 일시적으로 사용 불가능함) 오류조치 | 2015.11.19 | 7708 |
148 | mybais #과 $의 차이점 | 2015.11.10 | 460 |
147 | Mybatis foreach 문법정리(상황에 따른 사용법) | 2015.11.10 | 1465 |
146 | DB별 JDBC 드라이버 | 2015.10.02 | 468 |
145 | root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) | 2015.10.02 | 554 |
144 | SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. | 2015.09.30 | 327 |
143 | mongodb 2.6.6 설치(64bit) | 2015.09.30 | 324 |
142 | pom.xml에서 build.gradle로 변환 | 2015.09.14 | 311 |