메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop클러스터 환경에서 오라클및 sqoop이 이미 설치되어 있는 상태에서 oracle 테이블을 import하는 방법은 아래와 같다. 


1. query를 지정하는 경우

#!/bin/bash

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/lib/oracle/19.9/client64/lib/ojdbc8.jar

sqoop import \

--connect jdbc:oracle:thin:@gooperdb:5012:orcl \

--username gooper \ 

--password gooper_password \

--driver oracle.jdbc.driver.OracleDriver \

--query ' SELECT A, B FROM gooper.table_name where $CONDITIONS' \

--target-dir /DATA/gooper/tb_gooper \

-m 1 \

--delete-target-dir \


2. 테이블을 직접 지정하여 import하는 경우(테이블명은 대문자로 지정할것.)

sqoop export \

--connect jdbc:oracle:thin:@아이피:포트:디비스페이스 \

--username 아이디 \

--password 패스워드 \

--table TB_SAVE_TABLE \

--export-dir /user/hive/warehouse/sample.db/t_test_data \

--input-fields-terminated-by "\t" \

--input-lines-terminated-by "\n" \

--verbose \

-m 1 \

--input-null-string '\\N' \

--input-null-non-string '\\N'


번호 제목 글쓴이 날짜 조회 수
141 [Atlas Server]org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)] gooper 2023.05.15 68
» oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 총관리자 2021.12.31 68
139 org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException 오류시 조치사항 총관리자 2016.07.14 68
138 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 67
137 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 총관리자 2018.05.23 66
136 lagom-windows용 build.sbt파일 내용 총관리자 2017.10.12 66
135 9대가 hbase cluster로 구성된 서버에서 테스트 data를 halyard에 적재하고 테스트 하는 방법및 절차 총관리자 2017.07.21 66
134 python 2.6.6에서 print 'A=' 형태의 사용이 python 3.5.1에서 오류(SyntaxError: Missing parentheses in call to 'print') 발생함.. 총관리자 2016.05.27 66
133 데이타 분석및 머신러닝에 도움이 도움이 되는 사이트 총관리자 2016.11.04 65
132 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 gooper 2023.04.18 64
131 [TLS]TLS용 사설 인증서 변경 혹은 신규 지정시 No trusted certificate found 오류 발생시 확인및 조치사항 총관리자 2022.03.15 64
130 Lagom프레임웍에서 제공하는 HelloWorld 테스트를 수행시 [unknown-version]오류가 발생하면서 빌드가 되지 않는 경우 조치사항 총관리자 2017.12.22 63
129 Mysql DB 생성 및 권한. 특정아이피, 대역에 대한 접근 허용 총관리자 2017.05.04 63
128 queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 총관리자 2016.06.16 62
127 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 총관리자 2022.05.13 61
126 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용하여 repository에 CRUD테스트 총관리자 2017.08.30 60
125 fuseki가 제공하는 web ui를 통해서 dataset를 remove->create할 경우 동일한 동일한 이름으로 지정했을때 fuseki-server.jar가 뜨지 않는 현상 총관리자 2017.02.03 60
124 Windows에서 sbt개발환경 구축 방법(링크) 총관리자 2016.06.02 60
123 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 총관리자 2022.03.21 59
122 magento2 log파일 위치 총관리자 2017.01.31 59

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로