메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


mongodb mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법

총관리자 2015.12.22 18:27 조회 수 : 502

인덱스가 걸려있지 않은 컬럼에 대한 sort는 33M가 한계이므로 해당컬럼에 인덱스를 걸어주면 해결된다.


com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
161 동일서버에서 LA와 LC동시에 기동하여 테스트 2014.04.01 1043
160 hadoop 기반 문서 검색 2014.09.25 1043
159 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 1048
158 mybatis와 spring을 org.apache.commons.dbcp2.BasicDataSource의 DataSource로 연동할때 DB설정(참고) 2016.10.31 1073
157 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 1078
156 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 2014.07.17 1080
155 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 1085
154 [Magento]php7에 Composer를 이용하여 Magento 2.1.3 설치 file 2017.01.30 1097
153 dual table만들기 2014.05.16 1099
152 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 1107
151 Impala의 Queries탭에서 여러조건으로 쿼리 찾기 2018.05.09 1113
150 unique한 값 생성 2014.04.25 1118
149 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 2014.05.20 1120
148 Flume과 Kafka를 사용한 초당 100만개 로그 수집 테스트 file 2016.10.31 1123
147 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 2018.09.14 1126
146 Building a Cluster docs 2014.04.22 1128
145 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1132
144 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 1132
143 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 2018.05.28 1144
142 impala 설치/설정 2016.06.03 1160
쓰기 태그
위로