메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. tarball파일 다운로드

cd /usr/local

wget http://www.eu.apache.org/dist/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz 


2. 압축풀기

tar xvfz apache-hive-0.13.1-bin.tar.gz 


3. 링크생성

ln -s apache-hive-0.13.1-bin/ hive


4. 변수설정(/etc/profile)

export HIVE_HOME=/hadoop/hive

export PATH=$PATH:$HIVE_HOME/bin


5. HDFS에 hive용 folder생성및 mod수정

hadoop fs -mkdir /user/hive

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod g+w /user/hive/warehouse


6. conf파일 설정(conf폴더밑에 템플릿만 있으므로 아래와 같이 만들어줄것)

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-site.xml

cp hive-exec-log4j.properties.template hive-exec-log4j.properties

cp hive-log4j.properties.template hive-log4j.properties



7. hadoop_env.sh에서 HADOOP_CLASSPATH 환경변수에 hive의 lib파일($HIVE_HOME/lib/* )을 등록

vi $HADOOP_HOME/conf/hadoop_env.sh

export HADOOP_CLASSPATH=/usr/local/hadoop/share/hadoop/mapreduce:/usr/local/hadoop/share/hadoop/mapreduce/lib:$HIVE_HOME/lib/*


* stop-yarn.sh 후 start-yarn.sh해서 반영시켜 줘야함


8. jdbc driver다운로드및 hive의 lib에 upload

https://jdbc.postgresql.org/download.html

(예. postgresql-9.3-1103.jdbc4.jar)


9. hive-site.xml수정

        <property>

            <name>javax.jdo.option.ConnectionURL</name>

            <value>jdbc:postgresql://db.com/dbname</value>

        </property>

        <property>

            <name>javax.jdo.option.ConnectionDriverName</name>

            <value>org.postgresql.Driver</value>

        </property>

       <property>

         <name>javax.jdo.option.ConnectionUserName</name>

         <value>db게정</value>

       </property>

       <property>

          <name>javax.jdo.option.ConnectionPassword</name>

          <value>패스워드</value>

       </property>


10. hive-env.sh수정

: 아래를 추가하여 hive가 hadoop의 jar파일을 사용할수 있도록 해준다.

#hadoop library classpath setting 

for f in ${HADOOP_HOME}/lib/*.jar; do

  CLASSPATH=${CLASSPATH}:$f;

done


for f in ${HIVE_HOME}/lib/*.jar; do

  CLASSPATH=${CLASSPATH}:$f;

done


11. hadoop-env.sh수정

: 맨끝에 아래의 내용을 추가한다.

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hadoop/share/hadoop/mapreduce:/usr/local/hadoop/share/hadoop/mapreduce/lib:$HIVE_HOME/lib:$HIVE_HOME/conf


* hadoop-env.sh에 위에 내용을 추가하지 않으면 hive-site.xml이 CLASSPATH에 없다는 오류가 발생하며 meta정보를 rdb에 저장하려 설정했던 부분이 인식되지 않아서 derby db가 생기게 된다.


12. 확인

  가. console에서 hive치고 정상적으로 실행되면 성공

  나. hive cli를 종료후 derby.log와 metadata_db 폴더가 생겨있지 않으면 meta정보가 지정된 rdb에 정상적으로 연동되고 있다고 할수 있다.

번호 제목 글쓴이 날짜 조회 수
381 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 총관리자 2018.06.06 235
380 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 총관리자 2022.05.02 234
379 Error: java.lang.RuntimeException: java.lang.OutOfMemoryError 오류가 발생하는 경우 총관리자 2018.09.20 234
378 [postgresql 9.x] PostgreSQL Replication 구축하기 총관리자 2018.07.17 231
377 Cloudera설치중에 "Error, CM server guid updated"오류 발생시 조치방법 총관리자 2018.03.29 231
» hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 총관리자 2015.04.30 231
375 impala테이블 쿼리시 max_row_size 관련 오류가 발생할때 조치사항 총관리자 2020.02.12 230
374 [shell script] 파일을 한줄씩 읽어서 파일내용으로 명령문 만들고 실행하는 shell script예제 총관리자 2017.02.21 229
373 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 총관리자 2022.03.17 226
372 [sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법 총관리자 2018.10.16 226
371 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 총관리자 2017.10.12 225
370 프로그래밍 언어별 딥러닝 라이브러리 정리 file 총관리자 2016.10.05 222
369 우분투 서버에 GUI로 접속하기 file 총관리자 2018.05.27 221
368 /etc/logrotate.d 을 이용한 catalina.out 나누기 file 총관리자 2017.01.19 221
367 AIX 7.1에 Hadoop설치(정리중#2) 총관리자 2016.09.20 220
366 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 총관리자 2017.10.12 218
365 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 총관리자 2018.04.15 214
364 숭실대 교수님등 강의영상(바이오데이터마이닝, 빅데이터분산컴퓨팅, 컴퓨터 그래픽스, 데이터베이스응용및 프로그램밍, 데이터베이스, 의생명영상처리, 웹그로그래밍, 데이터마이닝, 컴퓨터구조) file 총관리자 2017.06.13 213
363 [shellscript] 함수에 배열을 인자로 주어서 처리하는 방법 총관리자 2019.07.16 212
362 [Jsoup]특정페이지를 jsoup을 이용하여 파싱하는 샘플소스 총관리자 2017.04.18 212

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로