메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop namenode오류 복구시 사용하는 명령

총관리자 2016.04.01 10:09 조회 수 : 591

아래오 같은 류의 오류가 발하면 "hadoop namenode -recover"를 수행하여 오류를 복구하여 준다.

--------------------------------namenode로그 파일의 오류내용---------------
2016-03-31 16:31:39,191 INFO org.apache.hadoop.util.GSet: 0.029999999329447746% max memory 958.5 MB = 294.5 KB
2016-03-31 16:31:39,191 INFO org.apache.hadoop.util.GSet: capacity      = 2^15 = 32768 entries
2016-03-31 16:31:39,193 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /hadoop/dfs/namenode does not exist
2016-03-31 16:31:39,194 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /hadoop/dfs/namenode is in an inconsistent state: storage directory does not exist or is not accessible.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:327)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:215)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:975)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:584)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:644)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:811)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:795)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1488)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)
2016-03-31 16:31:39,196 INFO org.mortbay.log: Stopped HttpServer2$SelectChannelConnectorWithSafeStartup@sda2:50070
2016-03-31 16:31:39,297 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2016-03-31 16:31:39,297 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2016-03-31 16:31:39,297 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2016-03-31 16:31:39,297 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /hadoop/dfs/namenode is in an inconsistent state: storage directory does not exist or is not accessible.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:327)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:215)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:975)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:584)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:644)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:811)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:795)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1488)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)
2016-03-31 16:31:39,298 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2016-03-31 16:31:39,299 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at sda2/xxx.xxx.xxx.44
************************************************************/
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
184 elasticsearch 1.3.0에서 rdf및 hadoop plugin설치 2016.04.06 646
183 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 2016.04.04 586
182 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 661
» namenode오류 복구시 사용하는 명령 2016.04.01 591
180 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 2016.04.01 3451
179 bash는 PS1 변수를 통해 프롬프트의 모양을 바꿀 수 있다. 2016.03.30 937
178 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1260
177 CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. 2016.03.14 960
176 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 496
175 System Properties Comparison Elasticsearch vs. Hive vs. Jena file 2016.03.10 1056
174 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 231
173 SPIN(SPARQL Inference Notation)이란.. file 2016.02.25 1007
172 SPARQL의 유형, SPARQL 만들기등에 대한 설명 2016.02.18 434
171 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 428
170 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 2016.01.29 351
169 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 표시하고 ?a!=?b 인경우는 ""로 구성된 결과 집합을 구하는 경우 file 2016.01.29 918
168 null 혹은 ""를 체크하는 방법 2016.01.27 773
167 sparql 1.1 BIND(if() as ?bind변수) 버그로 추정되는 문제점및 해결방안 -> select 문에 (if(,,) as ?bind변수) file 2016.01.21 478
166 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 800
165 한번에 여러값 update하기 2016.01.13 567
쓰기 태그
위로