메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인

총관리자 2015.04.27 15:44 조회 수 : 545

http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos


hadoop 2.5.2 소스컴파일하기


1. Hadoop 2.5.2 다운


2. JDK 설치 & 설정

-  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (v1.7 or v1.6 다운)

-  tar xvf (jdk파일이름.tar.gz)

-  mv (설치dri) /usr/local

-  chmod 755 (설치경로)

-  vi /etc/profile

-  export JAVA_HOME=/usr/local/jdk이름

-  export PATH=$PATH:$JAVA_HOME/bin

-  which java 또는 java –version 으로 체크

-  source /etc/profile

 

3. Hadoop 설치시 필요한 것

-  Development Tools: 필요한 패키지 존재

-  Additional Tools

-  maven : Hadoop은 maven으로 설치

-  cmake, libssl-dev : 하둡 설치 시 Common Lib 와 컴파일로 사용

-  ssh : 하둡에서 ssh설정에 필요

  

4. Maven 설치 & 설정


-  다운 : http:.//mirror-apache-kr.org/maven

-  tar xvf 메이븐파일.tar.gz

-  ln –s /메이븐경로 /경로/maven  (심볼릭 링크)

-  vi /etc/profile 열기

-  export M2_HOME=/usr/local/maven (( 이 경로에 설치했음 ))

-  export PATH=$PATH:$M2_HOME/bin

-  source /etc/profile

-  mvn –version (확인하기)

 

5. cmake 설치

-  yum install cmake (자동 설치)

 

6 . Development Tools & Additional Tools 설치

[root@master ~]# yum install gcc-c++

[root@master ~]# yum install zlib-devel

[root@master ~]# yum install libtool

[root@master ~]# yum install gzip

[root@master ~]# yum install patch

 

7. Proto buffer 설치

-  통신을 통해 데이터를 주고 받을 때 각종 데이터를 byte형태로 바꾸어준다. (Hadoop 컴파일시 2.5.0을 사용해야 하기 때문에 설치)

-  mk tools

-  cd tools

-  /tools#  wget http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

-  tar –zxvf protobuf-2.5.0.tar.gz

-  cd protobuf-2.5.0

-  ./configure

-  make

-  make install

 

8 . Hadoop Compile

-  소스 컴파일 용 tar 다운

-  /tools#  wget http://mirror-apache-kr.org/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz

-  tar xfz Hadoop-2.5.2-src.tar.gz


* 아래 패치는 2.2.0의 경우이며 2.5.2는 생략해야함..

(  -> Hadoop Auth 에러 패치용

   -  tools/Hadoop-2.5.2-src$  wget http://issues.apache.org/jira/secure/attachment/12614482/HADOOP-10110.patch 

   -  patch –p0 < HADOOP-10110.patch

)

-  > Hadoop Compile 작업

-  mvn package –Pdist,native –DskipTests –Dtar


* Hadoop Compile할때 방법으로 하면 test과정에서 오류가 발생할 수가 있으므로.. 

  [root@master hadoop-2.5.2-src]# mvn clean install -DskipTests

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
121 Hue Load Balancer를 L4로 L/B하는 경우는 L4쪽 도멘인으로 발행된 인증서를 TLS/SSL항목에 설정해주어야 한다. 2021.10.08 474
120 kudu hms check 사용법(예시) 2021.10.22 448
119 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 2021.10.22 611
118 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 2021.11.03 368
117 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 3051
116 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 2021.11.25 561
115 python2.7.4에서 Oracle DB(11.2)를 사용하기 위한 설정(RPM을 이용하여 RHEL 7.4에 설치) 2021.11.26 602
114 oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 2021.12.31 604
113 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 2022.01.07 404
112 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 2022.01.12 572
111 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 2022.01.14 135
110 not leader of this config: current role FOLLOWER 오류 발생시 확인방법 2022.01.17 697
109 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 2022.01.17 515
108 Failed to write to server: (no server available): 2022.01.17 738
107 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 555
106 kudu rebalance수행 command예시 2022.01.17 218
105 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 1113
104 windows10 pro에서 microservice pattern책의 예제를 kubernetes에서 기동하는 방법 2022.01.30 150
103 eclipse editor 설정방법 2022.02.01 203
102 vuestorefrontui.io를 이용한 front end project 생성하기 2022.02.06 137
쓰기 태그
위로