Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
hive query에서 insert overwrite directory '${OUTPUT}'형태로 저장하면
컬럼 구분자는 default가 ' x01'가 자동으로 삽입된다.
하지만 local로 저장하는 경우는 delimiter를 아래와 같이 지정할 수 있음
-------------------------------------아래-------------------------------------------
insert overwrite local directory '${OUTPUT}'
row format delimited fields terminated by 't'
select * from aaa;
-------------------추가--------------------
위의 경우는 MapR의 경우이며 apache배포본에는 't'로 저장됨
-------------------확인하는 방법-----------
excel에서 해당 파일을 읽어들여 컬럼분리자가 무엇으로 표시되는지 확인하면.. 정확히 알 수 있다..
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
60 | access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 | 총관리자 | 2014.07.05 | 1724 |
59 | org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="":root:supergroup:rwxr-xr-x 오류 처리방법 | 총관리자 | 2014.07.05 | 2842 |
58 | banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 | 총관리자 | 2014.07.05 | 2762 |
57 | 2개 data를 join하고 마지막으로 code정보를 join하여 결과를 얻는 mr 프로그램 | 총관리자 | 2014.06.30 | 410 |
56 | Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 | 총관리자 | 2014.06.03 | 484 |
55 | oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 | 총관리자 | 2014.06.02 | 814 |
54 | hadoop및 ecosystem에서 사용되는 명령문 정리 | 총관리자 | 2014.05.28 | 3457 |
53 | hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 | 총관리자 | 2014.05.28 | 1092 |
52 | oozie의 meta정보를 mysql에서 관리하기 | 총관리자 | 2014.05.26 | 1472 |
51 | hive query에서 mapreduce돌리지 않고 select하는 방법 | 총관리자 | 2014.05.23 | 813 |
50 | hiverserver2기동시 connection refused가 발생하는 경우 조치방법 | 총관리자 | 2014.05.22 | 1480 |
49 | import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by " |