메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


zookeeper zookeeper 3.4.6 설치(3대)

총관리자 2015.04.28 16:39 조회 수 : 4433

1. zookeeper다운로드

http://apache.mirror.cdnetworks.com/zookeeper/zookeeper-3.4.6/


2. 압축풀

tar xvfz zookeeper-3.4.6.tar.gz


3. soft link 생성

ln -s zookeeper-3.4.6 zookeeper


3-1 /data/zookeeper/data경로를 생성해준다.


3-1. log4j.properties수정(default가 . 이므로 zk서버 기동한곳에 생기게 되므로 /logs/zookeeper밑에 저장하도록 수정함)

#zookeeper.log.dir=.

zookeeper.log.dir=/logs/zookeeper/logs

#zookeeper.tracelog.dir=. 

zookeeper.tracelog.dir=/logs/zookeeper/logs


# DEFAULT: console appender only

log4j.rootLogger=${zookeeper.root.logger} 를 주석으로 막고


# Example with rolling log file and tracing

#log4j.rootLogger=TRACE, CONSOLE, ROLLINGFILE의 주석을 풀어준다.

(TRACEFILE은 로그파일 사이즈가 너무 커지므로 log를 기록하지 않도록 함)


4. conf/zoo.cfg수정

- cp zoo_sample.cfg zoo.cfg

- vi zoo.cfg

----------------------------------------------------

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/data/zookeeper/data

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=master:2888:3888

server.2=node1:2888:3888

server.3=node2:2888:3888

zookeeper.skipACL=true


# If the consumer fails to heartbeat to zookeeper for this period of time it is considered dead and a rebalance will occur

zookeeper.session.timeout.ms=20000


# The max time that the client waits while establishing a connection to zookeeper

zookeeper.connection.timeout.ms=20000

--------------------------------------


5. 다른 2개의 서버에 동일하게 반영

scp -r -P 22 zookeeper-3.4.6 root@node1:$HOME

scp -r -P 22 zookeeper-3.4.6 root@node2:$HOME

* 각서버에 들어가서 ln -s zookeeper-3.4.6 zookeeper실행으로 링크 생성


6. dataDir(예, /data/zookeeper/data)로 지정된 data폴더에 들어가서 myid라는 파일을 만들고 1 혹은 2 혹은 3을 내용으로 기록하고 저장한다.


7. 서버기동(각각의 서버에서 각각 실행 시킴)

[root@master bin]$ ./zkServer.sh start

JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

* 각각의 서버에서 각각 실행해야함

conf경로가 안맞에서 conf디렉토리를 bin밑으로 옮겨줌..


8. zk에 접속해서 값 확인

bin/zkCli.sh -server master:2181

번호 제목 날짜 조회 수
36 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 6652
35 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 6259
34 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 4968
33 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 4965
32 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 4901
31 oozie에서 share lib설정시 action type별로 구분하여 넣을것 2014.04.18 4899
30 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 4685
29 Oozie 설치, 환경설정 및 테스트 2014.04.08 4612
28 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 2023.07.26 4605
27 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 4587
26 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 4557
25 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 4479
24 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 4453
23 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 2014.06.03 4450
» zookeeper 3.4.6 설치(3대) 2015.04.28 4433
21 Cloudera Manager의 Java Heap Size변경하는 방법 2022.06.27 4433
20 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. 2022.05.16 4415
19 [KTS Cluster의 Key Trustee Server]self-signed 인증서 발급및 설정 방법 2023.06.27 4323
18 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 2022.11.10 4294
17 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 2023.04.18 4293
위로