메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


oozie [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명

총관리자 2022.03.23 15:41 조회 수 : 223

-------- WF(명칭 : wf_work_all)작업 순서및 내용 ------------
1번. sqoop : action_id->30d9, sqoop작업
2번. shell : action_id->5673, log_process.sh
3번. wf#1 : action_id->0de8, wf_work_compute_template
    --> shell: action_id->5362,  shell script
4번. wf#2 : action_id->2229, wf_work_compute_template
    --> shell, action_id->fc71, shell script 


---------------위의 WF에서 1,2번에 대한 내용만 아래에 설명함----------------------------------
<<1번 sqoop type의 wf job 수행시 작업 진행과정>>
  1. oozie:launcher -> oozie:action 순으로 각각의 application을 생성하여 작업되며 application id도 각각 다르게 부여됨
  2-1. oozie:launcher(application_1646905237381_141158, oozie:launcher:T=sqoop:W=wf_work_all:A=sqoop-30d9:ID=0067471-220310190308179-oozie-oozi-W, type : Oozie Launcher)
              application_1646905237381_141158   ->
             appattempt_1646905237381_141158_000001 (from YARN-> Application list ->Application Details) ->
        container_e228_1646905237381_141158_01_000001 (application_id와 같은 값을 이용한 id, 1st Attempt)
  2-2. oozie:action (  application_1646905237381_141163,     oozie:action:T=sqoop:W=wf_work_all:A=sqoop-30d9:ID=0067471-220310190308179-oozie-oozi-W, type : MAPREDUCE)
              application_1646905237381_141163 ->
             appattempt_1646905237381_141163_000001 (from YARN-> Application list ->Application Details) ->
                        job_1646905237381_141163 (Hadoop Job IDs executed by Sqoop) -> 
                       task_1646905237381_141163_m_000000 (MAP task) -> 
                  attempt_1646905237381_141163_m_000000_0 (1st Attempt) ->
        container_e228_1646905237381_141163_01_000002 

<<2번 shell type의 wf job 수행시 작업 진행과정>>
  1. oozie:launcher를 띄워서 바로 shellscript를 수행하며 별도의 job_은 수행되지 않음
  2-1. oozie:launcher(application_1646905237381_141188,  oozie:launcher:T=shell:W=wf_work_all:A=shell-5673:ID=0067471-220310190308179-oozie-oozi-W, type : Oozie Launcher) 
        application_1646905237381_141188 ->
       appattempt_1646905237381_141188_000001 (from YARN-> Application list ->Application Details) ->
       container_e228_1646905237381_141188_01_000001 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
381 [Sentry] sentry메타 DB를 이용하여 테이블에 매핑되어 있는 role명칭 찾는 방법. 2022.06.22 1321
380 Authorization within Hadoop Projects 2022.06.13 264
379 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 2022.06.10 949
378 [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. 2022.06.10 863
377 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle 2022.06.10 989
376 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. 2022.05.30 1282
375 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. 2022.05.16 161
374 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 2022.05.13 1052
373 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 1159
372 [TLS/SSL]Kudu Master 설정하기 2022.05.13 726
371 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 1147
370 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 2022.05.13 1030
369 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 2022.05.11 868
368 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 1140
367 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 1452
366 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 1516
365 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 1150
364 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 2022.04.14 640
363 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 2022.04.01 223
362 HDFS에서 quota 설정 방법및 확인 방법 2022.03.30 992
쓰기 태그
위로