메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop [2.7.2] distribute-exclude.sh사용할때 ssh 포트변경에 따른 오류발생시 조치사항

총관리자 2018.01.02 17:54 조회 수 : 442

distribute-exclude.sh파일(hdfs-site.xml파일에 지정된 "dfs.hosts.exclude"값을 이용(사용법: ./sbin/distribute-exclude.sh ./etc/hadoop/nodes.exclude)하여 exclude할 노드 정보 파일을 각 네임 노드 서버에 복사하는 스크립트)에서 scp 명령을 사용하는 부분이 있는데 아래와 같이 -P옵션을 부여하여 저장하고 실행한다.


  scp "$excludeFilenameLocal" "$namenode:$excludeFilenameRemote"


을 찾아서 아래와 같이 수정/저장하고 실행시켜준다.


  scp -P 10022 "$excludeFilenameLocal" "$namenode:$excludeFilenameRemote"


*참고 : distribute-exclude.sh을 실행후 refresh-namenodes.sh을 실행시켜주어야 네임노드에 변경사항이 반영된다.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
501 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 636
500 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 620
499 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 2018.02.01 616
498 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 616
497 외부 기기(usb, 하드)등 mount(연결)하기 2014.08.03 608
496 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 2015.06.05 606
495 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 602
494 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 2017.11.14 599
493 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 591
492 java.util.NoSuchElementException발생시 조치 2014.08.27 582
491 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. 2022.05.30 578
490 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 2022.06.10 573
489 Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node 오류시 조치방법 2017.04.06 573
488 [번역] solr 검색 엔진 튜토리얼 2014.10.07 572
487 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 567
486 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 2014.08.24 567
485 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 566
484 데이타 제공 사이트 링크 2014.08.03 566
483 CDH에서 Sentry 개념및 설정 file 2018.06.21 564
482 Eclipse실행시 Java was started but returned exit code=1이라는 오류가 발생할때 조치방법 2016.11.07 563
쓰기 태그
위로