메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항

총관리자 2016.10.17 14:42 조회 수 : 1115

Kafka로부터 메세지를 받는 spark기반 client프로그램을 구동시 처리할 메세지가 갑자기 증가하게 되면 OutOfMemoryError가 발생하면서 많은 수의 hs_err_pid???.log파일이 생성되며 JVM관련 명령어(예, jps)를 실행하면 "java.lang.OutOfMemoryError: unable to create new native thread"의 오류가 발생할 수 있는데 이것은 NIO관련 라이브러리가 디폴트로 0(무제한)의 DirectMemoryBuffer를 제공함으로서 모든 메모리를 소진하기 때문이다. 이럴때는 파일엑세스처리가 많이 일어나는 JVM을(예, tomcat)기동시 -XX:MaxDirectMemorySize(예, 2G(2147483648), 2*1024*1024*1024)등을 지정하여 무제한으로 사용되지 않도록 설정하고 재기동해준다.


*참고(Tomcat 메모리 CATALINA_OPTS 설정) : http://starplaying.tistory.com/446


-------------------오류내용--------------------

-bash-4.1$ jps

Error occurred during initialization of VM

java.lang.OutOfMemoryError: unable to create new native thread


------------------폴더에 오류로그 파일들도 다수 생성된다. ----------

hs_err_pid11579.log  hs_err_pid14873.log  hs_err_pid3724.log  hs_err_pid5596.log  hs_err_pid69979.log  hs_err_pid8240.log   hs_err_pid8859.log  hs_err_pid9857.log

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
21 How-to: Tune Your Apache Spark Jobs (Part 2) file 2016.10.31 457
20 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 2378
» java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 2016.10.17 1115
18 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 2016.09.24 237
17 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 1243
16 Apache Spark와 Drools를 이용한 CEP구현 테스트 2016.07.15 1111
15 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 787
14 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 390
13 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 4759
12 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 684
11 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 529
10 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 843
9 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 670
8 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 445
7 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 446
6 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1527
5 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 1174
4 Spark 1.6.1 설치후 HA구성 2016.05.24 1066
3 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 688
2 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 2210
쓰기 태그
위로