메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항

총관리자 2016.10.17 14:42 조회 수 : 755

Kafka로부터 메세지를 받는 spark기반 client프로그램을 구동시 처리할 메세지가 갑자기 증가하게 되면 OutOfMemoryError가 발생하면서 많은 수의 hs_err_pid???.log파일이 생성되며 JVM관련 명령어(예, jps)를 실행하면 "java.lang.OutOfMemoryError: unable to create new native thread"의 오류가 발생할 수 있는데 이것은 NIO관련 라이브러리가 디폴트로 0(무제한)의 DirectMemoryBuffer를 제공함으로서 모든 메모리를 소진하기 때문이다. 이럴때는 파일엑세스처리가 많이 일어나는 JVM을(예, tomcat)기동시 -XX:MaxDirectMemorySize(예, 2G(2147483648), 2*1024*1024*1024)등을 지정하여 무제한으로 사용되지 않도록 설정하고 재기동해준다.


*참고(Tomcat 메모리 CATALINA_OPTS 설정) : http://starplaying.tistory.com/446


-------------------오류내용--------------------

-bash-4.1$ jps

Error occurred during initialization of VM

java.lang.OutOfMemoryError: unable to create new native thread


------------------폴더에 오류로그 파일들도 다수 생성된다. ----------

hs_err_pid11579.log  hs_err_pid14873.log  hs_err_pid3724.log  hs_err_pid5596.log  hs_err_pid69979.log  hs_err_pid8240.log   hs_err_pid8859.log  hs_err_pid9857.log

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
41 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 262
40 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 2054
39 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 627
38 Spark 1.6.1 설치후 HA구성 2016.05.24 731
37 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 859
36 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1133
35 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 165
34 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 387
33 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 615
32 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 504
31 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 226
30 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 580
29 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 2867
28 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 299
27 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 698
26 Apache Spark와 Drools를 이용한 CEP구현 테스트 2016.07.15 709
25 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 317
24 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 2016.09.24 168
» java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 2016.10.17 755
22 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 2122
쓰기 태그
위로