메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


mongodb mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법

총관리자 2015.12.22 18:27 조회 수 : 1858

인덱스가 걸려있지 않은 컬럼에 대한 sort는 33M가 한계이므로 해당컬럼에 인덱스를 걸어주면 해결된다.


com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
com.mongodb.MongoException: Executor error: Overflow sort stage buffered data usage of 33554570 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:314)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
106 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2016.03.29 2095
105 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 1615
104 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 1807
» mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 2015.12.22 1858
102 console명령과 API비교 2015.12.21 1890
101 DB별 JDBC 드라이버 2015.10.02 2049
100 root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) 2015.10.02 2081
99 SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. 2015.09.30 1891
98 mongodb 2.6.6 설치(64bit) 2015.09.30 1244
97 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 2015.06.17 2054
96 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 3266
95 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 2015.06.14 2242
94 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpConfig.getSchemePrefix()Ljava/lang/String; 해결->실패 2015.06.14 1245
93 hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail 2015.06.11 2774
92 "File /user/hadoop/share/lib does not exist" 오류 해결방법 2015.06.07 2228
91 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 2015.06.07 2191
90 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 2015.06.05 2388
89 hbase shell 필드 검색 방법 2015.05.24 3482
88 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 2015.05.21 2510
87 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 2420
쓰기 태그
위로