Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
import org.apache.spark.sql.SparkSession
object AccountsByState {
def main(args: Array[String]) {
if (args.length < 1) {
System.err.println("Usage: stubs.AccountByState <state-code>")
System.exit(1)
}
val stateCode = args(0)
val spark = SparkSession.builder.getOrCreate()
val accountsDF = spark.read.table("accounts")
val stateAccountsDF = accountsDF.where(accountsDF("state") === stateCode)
stateAccountsDF.write.mode("overwrite").save("/loudacre/accounts_by_state/"+stateCode)
spark.stop
}
}