메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop format된 namenode를 다른 서버에서 다시 format했을때 오류내용

총관리자 2016.09.22 23:12 조회 수 : 169

서버#1에서 namenode를 format했는데 다른 서버에서 namenode를 format하게 되면 경고 메세지가 나오지만 'Y'로 응답하고 진행하면

cluster ID등의 바뀌게 되므로 아래와 같은 문제점이 발생한다.

이때는 다시 format을 해주고 데몬을 전부 재기동을 하며 각DataNode에서는 data디렉토리를 지우고 DataNode를 다시 기동해준다.


*DataNode 각각에서 해주어야 하는작업(필요시 여러번 반복해준다)

- sbin/hadoop-daemon.sh stop datanode

- rm -r /engine/bigdata/hadoop-2.7.2/dfs/datanode  (필요시 : mkdir /engine/bigdata/hadoop-2.7.2/dfs/ )

- sbin/hadoop-daemon.sh start datanode


-------------------- Namenode가 다운되는 문제의 오류내용 #1---

XXX.XXX.XXX.32:8485: Incompatible namespaceID for journal Storage Directory /engine/bigdata/hadoop/journal/data/mycluster: NameNode has nsId 1574650046 but storage has nsId 18123

69513

        at org.apache.hadoop.hdfs.qjournal.server.JNStorage.checkConsistentNamespace(JNStorage.java:234)

        at org.apache.hadoop.hdfs.qjournal.server.Journal.newEpoch(Journal.java:289)

        at org.apache.hadoop.hdfs.qjournal.server.JournalNodeRpcServer.newEpoch(JournalNodeRpcServer.java:135)

        at org.apache.hadoop.hdfs.qjournal.protocolPB.QJournalProtocolServerSideTranslatorPB.newEpoch(QJournalProtocolServerSideTranslatorPB.java:133)

        at org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocolProtos$QJournalProtocolService$2.callBlockingMethod(QJournalProtocolProtos.java:25417)

        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)

        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:969)

        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)

        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)

        at java.security.AccessController.doPrivileged(AccessController.java:377)

        at javax.security.auth.Subject.doAs(Subject.java:572)

        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)

        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2043)


        at org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)

        at org.apache.hadoop.hdfs.qjournal.client.QuorumCall.rethrowException(QuorumCall.java:223)

        at org.apache.hadoop.hdfs.qjournal.client.AsyncLoggerSet.waitForWriteQuorum(AsyncLoggerSet.java:142)


--------------------DataNode가 다운되는 문제의 오류내용 #2---

java.io.IOException: Cluster IDs not matched: dn cid=CID-8395f825-0009-4668-862b-3a9e8d184b54 but ns cid=CID-732a108d-6a42-44e4-9b2a-313750cc4c35; bpid=BP-1493757477-XXX.XXX.XXX.32-1474

523575034

        at org.apache.hadoop.hdfs.server.datanode.DataNode.setClusterId(DataNode.java:717)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1316)

        at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)

        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)

        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)

        at java.lang.Thread.run(Thread.java:801)

2016-09-22 22:51:28,082 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to IUDGTMP01/XXX.XXX.XXX.31:9000

2016-09-22 22:51:28,082 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to IUDGTMP02/XXX.XXX.XXX.32:9000

2016-09-22 22:51:28,190 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)

2016-09-22 22:51:30,197 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode

2016-09-22 22:51:30,199 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0

2016-09-22 22:51:30,201 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down DataNode at IUDGTMP02/XXX.XXX.XXX.XXX



이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
461 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 총관리자 2017.02.03 151
460 update(update와 delete->insert)사용시 주의/참고사항 총관리자 2016.01.06 152
459 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 152
458 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 총관리자 2018.05.22 152
457 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 총관리자 2015.12.16 153
456 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 총관리자 2018.04.17 153
455 이미지 관리 오픈소스 목록 총관리자 2018.03.11 155
454 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 총관리자 2018.06.01 155
453 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 총관리자 2022.01.07 155
452 test2 총관리자 2017.05.01 156
451 Cloudera의 API를 이용하여 impala의 실행되었던 쿼리 확인하는 예시 총관리자 2018.05.03 156
450 [jsoup]Jsoup Tutorial 총관리자 2017.04.11 157
449 [PHP7.0]로그파일 위치 총관리자 2017.05.07 160
448 magento2 2.1.3을 수동으로 설치하는 방법 총관리자 2017.02.01 161
447 spark notebook 0.7.0설치및 설정 총관리자 2016.11.14 162
446 Cloudera가 사용하는 서비스별 디렉토리 총관리자 2018.03.29 162
445 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 총관리자 2022.05.11 162
444 windows7에서 lagom의 hello world를 빌드하여 실행하는 경우의 로그(mvn lagom:runAll -Dscala.binary.version=2.11) 총관리자 2017.12.22 164
443 cloudera의 hue에서 사용자가 사용한 쿼리 목록 총관리자 2020.02.07 164
442 RDF4J의 RESTFul API처리 클래스 소스 파악(web module위주) 총관리자 2017.08.30 165
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로