메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hadoop cluster기동시 아래와 같은 오류가 발생하면서 datanode가 죽거나 namenode에 접근을 못하는 경우가 발생하는데 대부분 방화벽에서 
9000번 포트를 열지 않아서 발생하는 문제임..



16/03/31 17:50:30 WARN retry.RetryInvocationHandler: Exception while invoking class org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getStats over sda2/xxx.xxx.xxx.xxx:9000. Not retrying because failovers (15) exceeded maximum allowed (15)
java.net.NoRouteToHostException: No Route to Host from  sda1/xxx.xxx.xxx.xxx to sda2:9000 failed on socket timeout exception: java.net.NoRouteToHostException: 호스트로 갈 루트가 없음; For more details see:  http://wiki.apache.org/hadoop/NoRouteToHost
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:758)
        at org.apache.hadoop.ipc.Client.call(Client.java:1479)
        at org.apache.hadoop.ipc.Client.call(Client.java:1412)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
        at com.sun.proxy.$Proxy9.getFsStats(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getStats(ClientNamenodeProtocolTranslatorPB.java:612)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
        at com.sun.proxy.$Proxy10.getStats(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient.callGetStats(DFSClient.java:2484)
        at org.apache.hadoop.hdfs.DFSClient.getDiskStatus(DFSClient.java:2494)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getStatus(DistributedFileSystem.java:1114)
        at org.apache.hadoop.fs.FileSystem.getStatus(FileSystem.java:2314)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.report(DFSAdmin.java:454)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.run(DFSAdmin.java:1783)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.main(DFSAdmin.java:1959)
Caused by: java.net.NoRouteToHostException: 호스트로 갈 루트가 없음
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
        at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:614)
        at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)
        at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:375)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:1528)
        at org.apache.hadoop.ipc.Client.call(Client.java:1451)
        ... 20 more
번호 제목 날짜 조회 수
182 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 658
181 namenode오류 복구시 사용하는 명령 2016.04.01 584
» "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 3359
179 bash는 PS1 변수를 통해 프롬프트의 모양을 바꿀 수 있다. 2016.03.30 896
178 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1258
177 CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. 2016.03.14 893
176 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 493
175 System Properties Comparison Elasticsearch vs. Hive vs. Jena file 2016.03.10 1004
174 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 229
173 SPIN(SPARQL Inference Notation)이란.. file 2016.02.25 976
172 SPARQL의 유형, SPARQL 만들기등에 대한 설명 2016.02.18 433
171 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 354
170 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 349
169 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 표시하고 ?a!=?b 인경우는 ""로 구성된 결과 집합을 구하는 경우 file 2016.01.29 917
168 null 혹은 ""를 체크하는 방법 2016.01.27 759
167 sparql 1.1 BIND(if() as ?bind변수) 버그로 추정되는 문제점및 해결방안 -> select 문에 (if(,,) as ?bind변수) file 2016.01.21 469
166 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 474
165 한번에 여러값 update하기 2016.01.13 563
164 문자열을 숫자(integer)로 casting하기 2016.01.13 1158
163 update(update와 delete->insert)사용시 주의/참고사항 2016.01.06 888
위로