메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


mongodb mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법

총관리자 2015.12.22 18:27 조회 수 : 4172

인덱스가 걸려있지 않은 컬럼에 대한 sort는 33M가 한계이므로 해당컬럼에 인덱스를 걸어주면 해결된다.


com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
170 ubuntu 커널 업그레이드 방법 2018.09.02 3223
169 [CentOS] 네트워크 설정 2018.03.26 3217
168 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 2017.09.14 3215
167 [springframework]Caused by: org.mariadb.jdbc.internal.util.dao.QueryException: Could not read resultset: unexpected end of stream, read 0 bytes from 4 오류 발생시 조치사항 2017.01.23 3214
166 [Mybatis]Spring과 연동하지 않고 Java+Mybatis 형태의 프로그램 샘플소스 2016.09.01 3209
165 외부 기기(usb, 하드)등 mount(연결)하기 2014.08.03 3208
164 Hue Job Browser의 Queries탭에서 조건을 지정하는 방법 2018.05.10 3203
163 centos에 sbt 0.13.5 설치 2016.05.30 3200
162 gradle을 이용하여 jar파일 생성시 provided속성을 지정할 수 있게 설정하는 방법 2016.08.09 3198
161 tar를 이용한 리눅스 백업 2018.05.13 3193
160 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 3178
159 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 2016.09.24 3172
158 HBase 설정 최적화하기(VCNC) file 2017.07.18 3166
157 HDFS Balancer설정및 수행 2018.03.21 3165
156 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 2022.04.01 3153
155 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 3146
154 java quartz 시간 설정 참고사항 2015.12.16 3146
153 spark, kafka, mariadb, jena, springframework등을 이용하여 공통모듈을 jar로 만들기 위한 build.gradle파일(참고용) 2016.08.19 3139
152 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 3134
151 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 3114
쓰기 태그
위로