메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop hortonworks에서 제공하는 메모리 설정값 계산기 사용법

총관리자 2015.06.14 18:16 조회 수 : 723

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

 

hortonworks에서 제공하는 메모리 설정및 계산기

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html

 

메모리 설정값 계산 파일

wget http://public-repo-1.hortonworks.com/HDP/tools/2.0.6.0/hdp_manual_install_rpm_helper_files-2.0.6.101.tar.gz 

 

실행/결과

[root@master scripts]$ python yarn-utils.py -c 16 -m 16 -d 1 -k True

 Using cores=16 memory=16GB disks=1 hbase=True

 Profile: cores=16 memory=12288MB reserved=4GB usableMem=12GB disks=1

 Num Container=3

 Container Ram=4096MB

 Used Ram=12GB

 Unused Ram=4GB

 

---yarn-site.xml

 yarn.scheduler.minimum-allocation-mb=4096

 yarn.scheduler.maximum-allocation-mb=12288

 yarn.nodemanager.resource.memory-mb=12288

 

mapred-site.xml

 mapreduce.map.memory.mb=4096

 mapreduce.map.java.opts=-Xmx3276m

 mapreduce.reduce.memory.mb=4096

 mapreduce.reduce.java.opts=-Xmx3276m

 

yarn-site.xml

 yarn.app.mapreduce.am.resource.mb=4096

 yarn.app.mapreduce.am.command-opts=-Xmx3276m


mapred-site.xml

 mapreduce.task.io.sort.mb=1638

 

-----------------------------------------------------------------------------------------------

yarn-site.xml에 설정

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <!-- value>8000</value -->

        <value>12288</value>

     </property>

     <property>

         <name>yarn.scheduler.minimum-allocation-mb</name>

         <!-- value>512</value -->

         <value>4096</value>

     </property>

     <property>

         <name>yarn.scheduler.maximum-allocation-mb</name>

         <!-- value>2048</value -->

         <value>12288</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.resouce.mb</name>

         <value>4096</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.command-opts</name>

         <value>-Xmx3276m</value>

     </property>

 
mapred-site.xml에 설정
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>

-------------------- -k 옵션에 False대신 false를 지정하는 경우의 오류내용 ----------------
실행 : python yarn-utils.py -c 4 -m 7 -d 1 -k False
오류 내용
Traceback (most recent call last):
  File "yarn-utils.py", line 146, in <module>
    main()
  File "yarn-utils.py", line 94, in main
    hbaseEnabled = ast.literal_eval(options.hbase)
  File "/usr/lib64/python2.6/ast.py", line 68, in literal_eval
    return _convert(node_or_string)
  File "/usr/lib64/python2.6/ast.py", line 67, in _convert
    raise ValueError('malformed string')
ValueError: malformed string

------------다른 케이스 ----
-bash-4.1$ python yarn-utils.py -c 4 -m 7 -d 1 -k False
 Using cores=4 memory=7GB disks=1 hbase=False
 Profile: cores=4 memory=6144MB reserved=1GB usableMem=6GB disks=1
 Num Container=3
 Container Ram=2048MB
 Used Ram=6GB
 Unused Ram=1GB
 yarn.scheduler.minimum-allocation-mb=2048
 yarn.scheduler.maximum-allocation-mb=6144
 yarn.nodemanager.resource.memory-mb=6144
 mapreduce.map.memory.mb=2048
 mapreduce.map.java.opts=-Xmx1638m
 mapreduce.reduce.memory.mb=4096
 mapreduce.reduce.java.opts=-Xmx3276m
 yarn.app.mapreduce.am.resource.mb=4096
 yarn.app.mapreduce.am.command-opts=-Xmx3276m
 mapreduce.task.io.sort.mb=819

* application을 테스트할때 메모리 관련 오류가 발생시 조치 방법: https://www.gooper.com/ss/bigdata/3396
이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
47 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 총관리자 2017.07.19 1719
46 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 총관리자 2018.09.20 1528
45 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 총관리자 2016.07.29 1520
44 ExWordCount jar파일 file 구퍼 2013.03.06 1340
43 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 총관리자 2018.06.28 1214
42 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1144
» hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 총관리자 2015.06.14 723
40 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 총관리자 2017.12.28 674
39 hadoop 클러스터 실행 스크립트 정리 총관리자 2018.03.20 619
38 Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 총관리자 2015.05.17 602
37 hadoop의 data디렉토리를 변경하는 방법 총관리자 2014.08.24 538
36 Ubuntu 16.04 LTS에 4대에 Hadoop 2.8.0설치 총관리자 2017.05.01 529
35 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 508
34 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 총관리자 2015.05.06 456
33 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 431
32 Job이 끝난 log을 볼수 있도록 설정하기 총관리자 2016.05.30 427
31 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 총관리자 2015.06.05 427
30 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 388
29 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 총관리자 2017.01.25 371
28 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 총관리자 2019.06.14 365
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로