Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
impala Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안
오류내용 : Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10
쿼리가 수행되면 coordinator는 여러노드에 fragment를 전달한다. 이것은 거의 동시에 진행되며 sender fragment가 데이터를 읽어 다른 fragment(receiver)에 데이터를 전달하려는데 receiver가 어떤 원인에 의해서 데이터를 받아들이지 못하는 상황이 되고 이것이 정해진 시간내에도 진행되지 않아서 timeout이 발생한것임.
이때는 sender와 receiver사이의 timeout시간을 설정해주는 --datastream_sender_timeout_ms를 충분히 길게(예, 240000) 설정해서 timeout에 걸리는 시간을 늘려줄 필요가 있다.
* sender : EXCHANGE바로 아래 있는 작업 Fragment(예, aggregate, scan, etc)를 의미함
* receiver : query profile에 표시되는 EXCHANGE노드를 의미함.
