메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


sqoop작업시 success이면서 hdfs의 개수보다 rdbms에 들어가는 자료의 개수가 더 많아(중복되면서) 지는 경우가 있는데..

이는 버그로 보이며 update key로 지정하는 컬럼의 수를 최소로 만드는 등의 오류를 유도하여 확인하는 방법이 

있다. 

*참고 : https://stackoverflow.com/questions/39137254/sqoop-export-inserting-duplicate-entries

번호 제목 날짜 조회 수
104 solr설치및 적용관련 file 2014.09.27 2282
103 solr에서 한글사용시 주의점 2014.09.26 835
102 RHadoop을 통해서 웹사이트의 방문자수를 예측하는 방법 2014.09.26 2131
101 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 1631
100 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 2014.09.25 1289
99 hadoop 기반 문서 검색 2014.09.25 1126
98 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 2014.09.25 1065
97 lateral view 예제 2014.09.18 1437
96 root가 localhost에서 mysql로 접근하지 못하는 경우의 해결방법(패스워드) 2014.09.10 801
95 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 2014.09.10 3182
94 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 2014.09.10 1620
93 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 2565
92 원격지에서 zio공유기를 통해서 노트북의 mysql접속을 허용하는 방법 2014.09.07 1130
» sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음 2014.09.02 4296
90 java.util.NoSuchElementException발생시 조치 2014.08.27 1475
89 hadoop의 data디렉토리를 변경하는 방법 2014.08.24 1285
88 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 2014.08.24 1632
87 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 2014.08.19 1697
86 원보드 컴퓨터 비교표 file 2014.08.04 920
85 외부 기기(usb, 하드)등 mount(연결)하기 2014.08.03 683
위로