Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
/tmp/data/work_result에 파일이 들어오면 spooldir에 의해서 파일을 읽어 memoryChannel을 통하여 HDFS의 hdfs://nameservice1:8020/DATA/work_result에 저장한다.
spool된 파일은 "agent.sources.spooldirSource.deletePolicy = immediate"설정에 의해서 OS상의 파일이 삭제된다.
그리고 HDFS에는 flume소유자로 파일이 생성된다.
---------flume.conf-----------
agent.sources = spooldirSource
agent.channels = memoryChannel
agent.sinks = hdfsSink
agent.sources.spooldirSource.type = spooldir
agent.sources.spooldirSource.spoolDir = /tmp/data/work_result
agent.sources.spooldirSource.channels = memoryChannel
agent.sources.spooldirSource.deserializer.maxLineLength = 100000000
agent.sources.spooldirSource.basenameHeader = true
agent.sources.spooldirSource.deletePolicy = immediate
agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 1000000
agent.channels.memoryChannel.transactionCapacity = 1000
agent.sinks.hdfsSink.type = hdfs
agent.sinks.hdfsSink.channel = memoryChannel
agent.sinks.hdfsSink.hdfs.path = hdfs://nameservice1:8020/DATA/work_result
agent.sinks.hdfsSink.hdfs.fileType = DataStream
agent.sinks.hdfsSink.hdfs.rollCount = 0
agent.sinks.hdfsSink.hdfs.rollInterval= 300
agent.sinks.hdfsSink.hdfs.rollSize= 100000000
agent.sinks.hdfsSink.hdfs.batchSize = 100
agent.sinks.hdfsSink.hdfs.filePrefix = %{basename}
agent.sinks.hdfsSink.hdfs.kerberosPrincipal = flume@GOOPER.COM
agent.sinks.hdfsSink.hdfs.kerberosKeytab = /var/lib/keytab/flume.keytab
agent.sinks.hdfsSink.hdfs.proxyUser = flume
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
6 | 다수의 로그 에이전트로 부터 로그를 받아 각각의 파일로 저장하는 방법(interceptor및 multiplexing) | 총관리자 | 2014.04.04 | 4095 |
5 | flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA | 총관리자 | 2015.05.21 | 1423 |
4 | 동일서버에서 LA와 LC동시에 기동하여 테스트 | 총관리자 | 2014.04.01 | 936 |
3 | source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 | 총관리자 | 2014.05.20 | 689 |
2 | source, sink를 직접 구현하여 사용하는 예시 | 총관리자 | 2019.05.30 | 408 |
» | kerberos설정된 상태의 spooldir->memory->hdfs로 저장하는 과정의 flume agent configuration구성 예시 | 총관리자 | 2019.05.30 | 178 |