Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Hive 사용법 및 쿼리 샘플코드
hive 에서 사용하는 query 정리
지금까지 주로사용하는 것 위주로 정리했으며 지속적으로 업데이트 될 수 있음.
hive 환경구축 안되있는 경우는~
Hive 실행
$ $HIVE_HOME/bin/hive
Hive 종료
hive> exit;
테이블 확인
show tables;
bigmark.csv 파일의 데이터를 저장하는 테이블 "bigmark"을 정의하기 |
테이블 생성
hive> CREATE TABLE bigmark (id int, mark STRING)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
> LINES TERMINATED BY 'n';
테이블에 파일삽입
hive> LOAD DATA LOCAL INPATH '/home/bigmark/localfiles/bigmark.csv'
> OVERWRITE INTO TABLE bigmark;
파티션 사용하기 |
테이블 생성
hive> CREATE TABLE big (id INT, bb STRING, ii STRING, gg STRING)
> PARTITIONED BY (ver timestamp)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
> LINES TERMINATED BY ' n';
테이블에 파일삽입
hive> LOAD DATA LOCAL INPATH '/home/bigmark/localfiles/bigmark.csv'
> OVERWRITE INTO TABLE big PARTITION (ver = '2013-01-28 ');
테이블 검색 |
테이블 구조 확인
hive> DESCRIBE bigmark;
테이블 내용 확인
hive> SELECT * FROM bigmark;
LIKE 식에 의한 검색
hive> SELECT id, mark FROM bigmark
> WHERE mark LIKE '빅마크';
LIKE 식에 의한 검색(파티션이 있을 경우)
hive> SELECT bb, ii, gg FROM big
> WHERE ver='2013-01-28' and gg LIKE '빅%';
LIKE 대신 REGEXP도 가능
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
7 | Hive java connection 설정 | 구퍼 | 2013.04.01 | 2014 |
6 | banana pi에 hive 0.13.1+mysql(metastore)설치 | 총관리자 | 2014.09.09 | 2410 |
5 | Hive+mysql 설치 및 환경구축하기 | 구퍼 | 2013.03.07 | 2730 |
» | Hive 사용법 및 쿼리 샘플코드 | 구퍼 | 2013.03.07 | 2995 |
3 | Hive Query Examples from test code (2 of 2) | 총관리자 | 2014.03.26 | 5035 |
2 | hive 2.0.1 설치및 mariadb로 metastore 설정 | 총관리자 | 2016.06.03 | 5204 |
1 | insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 | 총관리자 | 2014.04.29 | 7135 |