Hadoop hadoop 클러스터 실행 스크립트 정리

총관리자 2018.03.20 18:27 조회 수 : 1675

1. zookeeper기동(gsda1, gsda2, gsda3)

-bin/zkServer.sh start (gsda1)

-bin/zkServer.sh start (gsda2)

-bin/zkServer.sh start (gsda3)

2. kafka 실행(gsda1, gsda2, gsda3)

- bin/kafka-server-start.sh config/server-1.properties & (gsda1)

- bin/kafka-server-start.sh config/server-2.properties & (gsda2)

- bin/kafka-server-start.sh config/server-3.properties & (gsda3)

3. hadoop 실행(gsda1)

sbin/start-all.sh (gsda1)

확인 : http://sda1:50070/dfshealth.html#tab-overview

4. hbase기동 (gsda1)

bin/start-hbase.sh (gsda1)

확인 : http://gsda1:16010/

5. spark 실행(gsda1)

sbin/start-all.sh (gsda1)

확인 : http://gsda1:8123/

zookeeper, hbase, spark, kafka, hadoop, 이 게시물을

번호	제목	날짜	조회 수
502	Cloudera설치중에 "Error, CM server guid updated"오류 발생시 조치방법	2018.03.29	338
501	Cloudera가 사용하는 서비스별 포트	2018.03.29	1081
500	Cloudera가 사용하는 서비스별 디렉토리	2018.03.29	644
499	cloudera-scm-agent 설정파일 위치및 재시작 명령문	2018.03.29	959
498	[CentOS] 네트워크 설정	2018.03.26	633
497	Components of the Impala Server	2018.03.21	598
496	HDFS Balancer설정및 수행	2018.03.21	676
»	hadoop 클러스터 실행 스크립트 정리	2018.03.20	1675
494	HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop)	2018.03.16	250
493	자주쓰는 유용한 프로그램	2018.03.16	1470
492	에러 추적(Error Tracking) 및 로그 취합(logging aggregation) 시스템인 Sentry 설치	2018.03.14	412
491	update 샘플	2018.03.12	1324
490	이미지 관리 오픈소스 목록	2018.03.11	689
489	Scala에서 countByWindow를 이용하기(예제)	2018.03.08	990
488	Scala를 이용한 Streaming예제	2018.03.08	895
487	scala application 샘플소스(SparkSession이용)	2018.03.07	1093
486	fuseki의 endpoint를 이용한 insert, delete하는 sparql예시	2018.02.14	289
485	프로세스를 확인해서 프로세스를 삭제하는 shell script예제(cryptonight)	2018.02.02	867
484	spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항	2018.02.01	754
483	Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법	2018.02.01	457

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL