메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


mongodb mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법

총관리자 2015.12.22 18:27 조회 수 : 462

인덱스가 걸려있지 않은 컬럼에 대한 sort는 33M가 한계이므로 해당컬럼에 인덱스를 걸어주면 해결된다.


com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
161 Ubuntu에서 sbt및 scala설치하기 2017.06.20 224
160 federated query 예제 2017.01.19 224
159 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 223
158 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 2024.04.05 222
157 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 221
156 php auction 프로그램 2017.05.14 221
155 jar파일의 dependency찾는 프로그램 2016.08.11 220
154 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 2016.08.02 220
153 protege 4.3 다운로드 2015.12.09 219
152 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 2022.07.14 218
151 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 2021.11.03 218
150 대표 오픈소스 라이선스, 한 눈에 보기! 2015.12.10 218
149 HBase 설정 최적화하기(VCNC) file 2017.07.18 217
148 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 217
147 컴퓨터 무한 재부팅 원인및 조치방법 file 2017.12.05 216
146 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 216
145 LUBM 데이타 생성구문 2017.07.24 214
144 failed to read local state, exiting...오류발생시 조치사항 2016.04.06 214
143 https용 인증서 발급 명령문 예시및 오류 메세지 2018.01.24 213
142 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 2016.08.11 213
쓰기 태그
위로