Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1. hdd를 추가하고 mounting한다.
https://www.gooper.com/ss/index.php?mid=bigdata&category=2772&document_srl=2984 를 참조할것..
2. /app/hdd 폴더밑에 hadoop폴더를 job을 수행할 계정(예, hadoop)으로 생성한다
(혹시 start-all.sh기동후 hadoop폴더 밑에 생성된 폴더가 root계정으로 생성되면..
chown -R hadoop:hadoop hadoop을 실행하여 모두 hadoop계정으로 전환시켜준다.)
3. conf파일들의 경로를 수정함
가. core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- value>/tmp/hadoop-${user.name}</value -->
<!-- value>/home/${user.name}/work/tmp</value -->
<value>/app/hdd/hadoop/tmp</value>
</property>
</configuration>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001</value>
</property>
<property>
<name>mapred.system.dir</name>
<!-- value>/home/hadoop/work/mapred/system</value -->
<!-- value>/home/${user.name}/work/mapred/system</value -->
<value>/app/hdd/hadoop/mapred/system</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<!-- value>*</value -->
<value>root,hadoop</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
<!-- value>localhost</value -->
</property>
<property>
<name>mapreduce.jobtracker.staging.root.dir</name>
<!-- value>/home/hadoop/work/tmp/mapred/staging</value -->
<value>/user</value>
</property>
</configuration>
4. namenode를 format
hadoop namenode -format
5. 데몬을 모두 기동함
start-all.sh
6. hdfs상에 /user밑으로 hadoop계정을 생성한다.
hadoop fs -mkdir /user/hadoop을 생성함
7. test
