메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


zookeeper zookeeper 3.4.6 설치(3대)

총관리자 2015.04.28 16:39 조회 수 : 1298

1. zookeeper다운로드

http://apache.mirror.cdnetworks.com/zookeeper/zookeeper-3.4.6/


2. 압축풀

tar xvfz zookeeper-3.4.6.tar.gz


3. soft link 생성

ln -s zookeeper-3.4.6 zookeeper


3-1 /data/zookeeper/data경로를 생성해준다.


3-1. log4j.properties수정(default가 . 이므로 zk서버 기동한곳에 생기게 되므로 /logs/zookeeper밑에 저장하도록 수정함)

#zookeeper.log.dir=.

zookeeper.log.dir=/logs/zookeeper/logs

#zookeeper.tracelog.dir=. 

zookeeper.tracelog.dir=/logs/zookeeper/logs


# DEFAULT: console appender only

log4j.rootLogger=${zookeeper.root.logger} 를 주석으로 막고


# Example with rolling log file and tracing

#log4j.rootLogger=TRACE, CONSOLE, ROLLINGFILE의 주석을 풀어준다.

(TRACEFILE은 로그파일 사이즈가 너무 커지므로 log를 기록하지 않도록 함)


4. conf/zoo.cfg수정

- cp zoo_sample.cfg zoo.cfg

- vi zoo.cfg

----------------------------------------------------

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/data/zookeeper/data

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=master:2888:3888

server.2=node1:2888:3888

server.3=node2:2888:3888

zookeeper.skipACL=true


# If the consumer fails to heartbeat to zookeeper for this period of time it is considered dead and a rebalance will occur

zookeeper.session.timeout.ms=20000


# The max time that the client waits while establishing a connection to zookeeper

zookeeper.connection.timeout.ms=20000

--------------------------------------


5. 다른 2개의 서버에 동일하게 반영

scp -r -P 22 zookeeper-3.4.6 root@node1:$HOME

scp -r -P 22 zookeeper-3.4.6 root@node2:$HOME

* 각서버에 들어가서 ln -s zookeeper-3.4.6 zookeeper실행으로 링크 생성


6. dataDir(예, /data/zookeeper/data)로 지정된 data폴더에 들어가서 myid라는 파일을 만들고 1 혹은 2 혹은 3을 내용으로 기록하고 저장한다.


7. 서버기동(각각의 서버에서 각각 실행 시킴)

[root@master bin]$ ./zkServer.sh start

JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

* 각각의 서버에서 각각 실행해야함

conf경로가 안맞에서 conf디렉토리를 bin밑으로 옮겨줌..


8. zk에 접속해서 값 확인

bin/zkCli.sh -server master:2181

번호 제목 날짜 조회 수
36 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 4099
35 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 1606
34 Oozie 설치, 환경설정 및 테스트 2014.04.08 1405
33 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 1321
» zookeeper 3.4.6 설치(3대) 2015.04.28 1298
31 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 2015.04.30 1245
30 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 1082
29 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 2014.06.02 940
28 "File /user/hadoop/share/lib does not exist" 오류 해결방법 2015.06.07 851
27 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 823
26 znode /hbase recursive하게 지우기 2015.05.06 739
25 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 673
24 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 564
23 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 2014.06.03 537
22 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 2015.06.07 521
21 lagom을 이용한 샘플 경매 프로그램 실행방법 2017.06.20 450
20 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 438
19 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 2020.06.05 429
18 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 2020.05.11 404
17 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 336
위로