메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


oozie [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명

총관리자 2022.03.23 15:41 조회 수 : 127

-------- WF(명칭 : wf_work_all)작업 순서및 내용 ------------
1번. sqoop : action_id->30d9, sqoop작업
2번. shell : action_id->5673, log_process.sh
3번. wf#1 : action_id->0de8, wf_work_compute_template
    --> shell: action_id->5362,  shell script
4번. wf#2 : action_id->2229, wf_work_compute_template
    --> shell, action_id->fc71, shell script 


---------------위의 WF에서 1,2번에 대한 내용만 아래에 설명함----------------------------------
<<1번 sqoop type의 wf job 수행시 작업 진행과정>>
  1. oozie:launcher -> oozie:action 순으로 각각의 application을 생성하여 작업되며 application id도 각각 다르게 부여됨
  2-1. oozie:launcher(application_1646905237381_141158, oozie:launcher:T=sqoop:W=wf_work_all:A=sqoop-30d9:ID=0067471-220310190308179-oozie-oozi-W, type : Oozie Launcher)
              application_1646905237381_141158   ->
             appattempt_1646905237381_141158_000001 (from YARN-> Application list ->Application Details) ->
        container_e228_1646905237381_141158_01_000001 (application_id와 같은 값을 이용한 id, 1st Attempt)
  2-2. oozie:action (  application_1646905237381_141163,     oozie:action:T=sqoop:W=wf_work_all:A=sqoop-30d9:ID=0067471-220310190308179-oozie-oozi-W, type : MAPREDUCE)
              application_1646905237381_141163 ->
             appattempt_1646905237381_141163_000001 (from YARN-> Application list ->Application Details) ->
                        job_1646905237381_141163 (Hadoop Job IDs executed by Sqoop) -> 
                       task_1646905237381_141163_m_000000 (MAP task) -> 
                  attempt_1646905237381_141163_m_000000_0 (1st Attempt) ->
        container_e228_1646905237381_141163_01_000002 

<<2번 shell type의 wf job 수행시 작업 진행과정>>
  1. oozie:launcher를 띄워서 바로 shellscript를 수행하며 별도의 job_은 수행되지 않음
  2-1. oozie:launcher(application_1646905237381_141188,  oozie:launcher:T=shell:W=wf_work_all:A=shell-5673:ID=0067471-220310190308179-oozie-oozi-W, type : Oozie Launcher) 
        application_1646905237381_141188 ->
       appattempt_1646905237381_141188_000001 (from YARN-> Application list ->Application Details) ->
       container_e228_1646905237381_141188_01_000001 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
23 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 1606
22 Oozie 설치, 환경설정 및 테스트 2014.04.08 1405
21 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 1320
20 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1245
19 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 1081
18 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 2014.06.02 940
17 "File /user/hadoop/share/lib does not exist" 오류 해결방법 2015.06.07 849
16 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 823
15 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 673
14 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 561
13 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 2014.06.03 537
12 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 2015.06.07 521
11 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 438
10 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 2020.06.05 429
9 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 2020.05.11 404
8 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 334
7 oozie WF에서 참고할만한 내용 2019.07.18 276
6 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 256
5 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 165
4 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 2022.11.10 156
쓰기 태그
위로