메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


sqoop [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법

gooper 2024.04.19 09:36 조회 수 : 131 추천:1

oozie의 sqoop action으로 import혹은 export수행시 발생한 오류는 oozie의 job browser에서 자세한 내용을 확인할 수 없다. 

이류는 oozie sqoop action으로 작업시 최초에 Launcher를 수행하기 위한 YARN application을 수행하며 이 Launcher에서 

실제 map/reduce작업을 위한 YARN application을 수행하는 구조이기 때문에 

M/R작업에 사용된 application_id를 확인하여 거기서 실행된 task의 log를 확인해야 정확안 오류 내용을 확인할 수 있다. 

이때 M/R용 application_id를 확인하는 방법은 다음과 같다.

 

oozie launcher에 application의 Logs->stdout에서 Submitted application 부분에 명시된 application_id를 확인하고 이것을 이용하여

ResourceManager WebUI나 HistoryServer WebUI에서 application혹은 job의 로그를 확인한다. 

 

* oozie launcher(application_1705745455734_635833) 의 stdout에 보여지는 log의 일부

.....

16:09:47.515 [main] INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl - Submitted application application_1705745455734_635836

16:09:47.555 [main] INFO  org.apache.hadoop.mapreduce.Job - The url to track the job: http://bdapnamp01.bdp.gooper.com:8088/proxy/application_1705745455734_635836/

16:09:47.555 [main] INFO  org.apache.hadoop.mapreduce.Job - Running job: job_1705745455734_635836

16:09:54.620 [main] INFO  org.apache.hadoop.mapreduce.Job - Job job_1705745455734_635836 running in uber mode : false

16:09:54.621 [main] INFO  org.apache.hadoop.mapreduce.Job -  map 0% reduce 0%

16:10:03.665 [main] INFO  org.apache.hadoop.mapreduce.Job -  map 8% reduce 0%

16:10:04.668 [main] INFO  org.apache.hadoop.mapreduce.Job -  map 100% reduce 0%

16:10:04.673 [main] INFO  org.apache.hadoop.mapreduce.Job - Job job_1705745455734_635836 failed with state FAILED due to: Task failed task_1705745455734_635836_m_000001

Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0

...

 

이 게시물을
이 글의 추천인 목록 목록
쓰기 태그
위로