Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
0. 모니터링(MR, YARN, HBASE)
나. http://master:50070/dfshealth.html#tab-datanode
다. http://master:60010/master-status
1. hadoop 1.X
가. hadoop 관련 데몬 모두 start
start-all.sh
나. hadoop 관련 데몬 모두 stop
stop-all.sh
다. 안전모드 벗어나기
hadoop dfsadmin -safemode leave
라.map/reduce admin모니터링
http://localhost:50030/jobtracker.jsp
마. namenode 모니터링
http://localhost:50070/dfshealth.jsp
바. 기타
start-dfs.sh - Hadoop DFS daemon들(namenode and datanodes)을 기동함.(start-mapred.sh을 실행가지 전에 실행할 것)
stop-dfs.sh - Hadoop DFS daemon 들을 중지함.
start-mapred.sh - Hadoop Map/Reduce daemonem들(jobtracker 와 tasktracker들)을 기동함.
stop-mapred.sh - Hadoop Map/Reduce daemon들을 중지함.
start-all.sh - 모든 Hadoop daemon들(namenode, datanode들, jobtracker, tasktracker들) 기동함
(앞으로는 start-dfs.sh 과 start-mapred.sh을 연속 실행할것)
stop-all.sh - 모든 Hadoop daemon들을 중지시킴
(앞으로는 stop-mapred.sh 과 stop-dfs.sh을 연속 실행할것)
사. namenode만 stop/start
hadoop-daemon.sh stop/start namenode
1-1. hadoop 2.X
가. nodemanager
yarn-daemon.sh start nodemanager
나. datanode
hadoop-daemon.sh start datanode
다. resourcemanager
yarn-daemon.sh start resourcemanager
라. namenode
hadoop-daemon.sh start namenode
마. zkfc
hadoop-daemon.sh start zkfc
2. oozie
가. oozie start
oozie-start.sh
나. oozie stop
oozie-stop.sh
다. 모니터링
라. xml유효성 체크
oozie validate workflow.xml
3. hive
가. 시작/종료
nohup hive --service metastore>$HIVE_LOG_DIR/hive.out 2>$HIVE_LOG_DIR/hive.log & 를 먼저 실행함
나. hive shell 실행(hbase연동 작업할 경우)
hive --auxpath /home/hadoop/hive/lib/hbase-0.94.6.1.jar,/home/hadoop/hive/lib/zookeeper-3.4.3.jar,/home/hadoop/hive/lib/hive-hbase-handler-0.11.0.jar,/home/hadoop/hive/lib/guava-11.0.2.jar,/home/hadoop/hive/lib/hive-contrib-0.11.0.jar -hiveconf hbase.master=localhost:60000
다. metastore 서버기동
hive --service metastore &
라. hiveserver2 서버기동
hive --service hiveserver2
4. ubuntu
가......
5. mysql
가. sql파일을 이용하여 일괄 실행
mysql -uUserId -pPassword DataBaseName --default-character-set=utf-8 < ExportFileName.sql
나. mysql dump명령
mysqldump -u gooper -p gooper > gooper_db_20140321.sql
다. mysql shell들어가기
mysql -u root -p
6. hbase
가. start
start-hbase.sh
나. stop
stop-hbase.sh
다. hmaster 기동/중지/restart
hbase-daemon.sh start/stop master
라. regionmaster 기동/중지/restart
hbase-daemon.sh start/stop/restart regionserver
마. 모니터링
-RegionServer
- HMaster
바. thrift server기동
hadoop@bigdata-host:~/hadoop/working$ hbase thrift start
7. zookeeper
가. 시작
zkServer.sh start
나. 중지
zkServer.sh stop
다. zk shell
zkCli.sh -server localhost:2181
-----------------hadoop 2.X---------------------------
Daemon포트
- NameNode : 50070
- ResourceManager : 8088
- MapReduece JobHitory : 19888