Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
object StreamingRequestCount { def main(args: Array[String]) { val ssc = new StreamingContext(new SparkContext(),Seconds(2)) val mystream = ssc.socketTextStream(hostname, port) val userreqs = mystream.map(line => (line.split(' ')(2),1)) .reduceByKey((x,y) => x+y) userreqs.print() ssc.start() ssc.awaitTermination() } }