메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


mongodb mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법

총관리자 2015.12.22 18:27 조회 수 : 502

인덱스가 걸려있지 않은 컬럼에 대한 sort는 33M가 한계이므로 해당컬럼에 인덱스를 걸어주면 해결된다.


com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
50 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 1198
» mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 2015.12.22 502
48 console명령과 API비교 2015.12.21 440
47 DB별 JDBC 드라이버 2015.10.02 454
46 root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) 2015.10.02 547
45 SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. 2015.09.30 325
44 mongodb 2.6.6 설치(64bit) 2015.09.30 320
43 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 2015.06.14 785
42 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 2015.06.05 646
41 hbase shell 필드 검색 방법 2015.05.24 2095
40 Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 2015.05.17 818
39 secureCRT에서 backspace키가 작동하지 않는 경우 해결방법 2015.05.11 839
38 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 2015.05.08 361
37 hbase CustomFilter만들기 (0.98.X이상) 2015.05.08 393
36 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 502
35 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 2015.05.05 3845
34 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 2015.04.29 1241
33 Hadoop - 클러스터 세팅및 기동 2015.04.28 506
32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 2015.04.27 522
31 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 19290
쓰기 태그
위로