메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


impala테이블이 어떤 형태인지에 따라 다음과 같이 2가지 방법으로 수행할 수 있다. 

특히 parquet형식의 테이블인 경우 set num_nodes=1을 먼저 수행해주면 여러개의 fragment로 수행하지 않고 1개의 fragment로 수행되며 지정하지 않으면 병렬 처리를 위해서 가능한한 1개 이상의 fragment로 나뉘어서 수행된다. 

1개의 노드에서만 처리할때 파일 사이즈가 많이 크면 OOM을 유발할 수 있으니 주의해야 한다. 


1. text형식의 hdfs파일에 대한 테이블인 경우 : insert overwrite table 테이블명 select * from 테이블명;

2. parquet형식의 hdfs파일에 대한 테이블인 경우  : set num_nodes=1; insert overwrite table 테이블명 select * from 테이블명;



*참고 

-- OVERWRITE가 붙으면 해당 위치의 내용을 삭제하고 덮어 쓴다. 

INSERT OVERWRITE TABLE target PARTITION(col1 = 'a', col2)

SELECT data1,

       date2

  FROM source;

번호 제목 글쓴이 날짜 조회 수
30 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle gooper 2022.06.10 91
29 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 총관리자 2021.11.03 84
» small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) gooper 2022.07.04 84
27 [impala]쿼리 수행중 발생하는 오류(due to memory pressure: the memory usage of this transaction, Failed to write to server) gooper 2022.10.05 84
26 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 총관리자 2016.09.24 80
25 How-to: Tune Your Apache Spark Jobs (Part 2) file 총관리자 2016.10.31 78
24 Scala를 이용한 Streaming예제 총관리자 2018.03.08 74
23 kudu hms check 사용법(예시) 총관리자 2021.10.22 73
22 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 gooper 2023.11.30 70
21 [Impala jdbc]CDP7.1.7환경에서 java프로그램을 이용하여 kerberized impala cluster에 접근하여 SQL을 수행하는 방법 gooper 2023.08.22 70
20 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 총관리자 2016.05.31 68
19 [TLS/SSL]Kudu Master 설정하기 총관리자 2022.05.13 65
18 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 총관리자 2022.04.14 55
17 spark 온라인 책자링크 (제목 : mastering-apache-spark) 총관리자 2016.05.25 53
16 [TLS/SSL]Kudu Tablet Server설정 총관리자 2022.05.13 43
15 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 gooper 2023.03.28 40
14 spark에서 hive table을 읽어 출력하는 예제 소스 총관리자 2017.03.09 38
13 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 총관리자 2021.07.26 38
12 spark에서 hive table을 읽어 출력하는 예제 소스 총관리자 2017.03.09 36
11 Failed to write to server: (no server available): 총관리자 2022.01.17 36

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로