Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
impala Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안
오류내용 : Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10
쿼리가 수행되면 coordinator는 여러노드에 fragment를 전달한다. 이것은 거의 동시에 진행되며 sender fragment가 데이터를 읽어 다른 fragment(receiver)에 데이터를 전달하려는데 receiver가 어떤 원인에 의해서 데이터를 받아들이지 못하는 상황이 되고 이것이 정해진 시간내에도 진행되지 않아서 timeout이 발생한것임.
이때는 sender와 receiver사이의 timeout시간을 설정해주는 --datastream_sender_timeout_ms를 충분히 길게(예, 240000) 설정해서 timeout에 걸리는 시간을 늘려줄 필요가 있다.
* sender : EXCHANGE바로 아래 있는 작업 Fragment(예, aggregate, scan, etc)를 의미함
* receiver : query profile에 표시되는 EXCHANGE노드를 의미함.