메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


DataNode기동하면서 Block pool ID needed, but service not yet registered with NN와 같은 오류가 발생하면서 DataNode 데몬이 기동되지 않는 경우가 있는데..

clusterID가 달라서 발생하는 문제이므로 data디렉토리(예,  cd /data/N/dfs/dn)로 설정한 디렉토리 밑의 currnet/VERSION파일에 있는 clusterID를 다른 DataNode를 참고하여 동일하게 바꿔준다.


----에러메세지-------

5:01:18.219 PM WARN DataNode

Block pool ID needed, but service not yet registered with NN, trace:

java.lang.Exception

at org.apache.hadoop.hdfs.server.datanode.BPOfferService.getBlockPoolId(BPOfferService.java:177)

at org.apache.hadoop.hdfs.server.datanode.BPOfferService.hasBlockPoolId(BPOfferService.java:187)

at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdownBlockPool(DataNode.java:1476)

at org.apache.hadoop.hdfs.server.datanode.BPOfferService.shutdownActor(BPOfferService.java:424)

at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.cleanUp(BPServiceActor.java:457)

at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:707)

at java.lang.Thread.run(Thread.java:745)

번호 제목 날짜 조회 수
601 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 1164
600 impala 설치/설정 2016.06.03 1161
599 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 1151
» DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 2018.05.28 1147
597 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1133
596 Building a Cluster docs 2014.04.22 1129
595 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 2018.09.14 1126
594 Flume과 Kafka를 사용한 초당 100만개 로그 수집 테스트 file 2016.10.31 1126
593 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 2014.05.20 1124
592 unique한 값 생성 2014.04.25 1124
591 Impala의 Queries탭에서 여러조건으로 쿼리 찾기 2018.05.09 1114
590 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 1111
589 dual table만들기 2014.05.16 1104
588 [Magento]php7에 Composer를 이용하여 Magento 2.1.3 설치 file 2017.01.30 1097
587 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 1085
586 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 2014.07.17 1081
585 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 1080
584 mybatis와 spring을 org.apache.commons.dbcp2.BasicDataSource의 DataSource로 연동할때 DB설정(참고) 2016.10.31 1074
583 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 1057
582 hadoop 기반 문서 검색 2014.09.25 1049
위로