메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hadoop hfs gateway를 설정하고 Client 파일 시스템에서 mount하여 사용하는 방법이 아래와 같이 Cloudera Page에 설명되어 있다. 

주의할것은 export point를 지정해야 default로 HDFS의 최상위(/)가 노출되지 않는다. 

(예를 들어 HDFS상에 /DATA/TEST/NFS를 지정하려면 아래와 같이 설정한다.

  1. HDFS폴더 생성(순서대로 한단계씩 생성할것)

      hdfs dfs -mkdir /DATA/TEST/NFS

  2. 폴더에 권한 부여(777을 부여하고 sticky bit를 설정해서 여러 사용자가 이곳을 사용할 수 있도록 한다)

       hdfs dfs -chmod 777 /DATA/TEST/NFS

       hdfs dfs -chmod +t /DATA/TEST/NFS

  3. export point 항목에 DATA/TEST/NFS를 등록하고 저장/Hadoop NFS gateway를 restart하여 반영해준다. 

)


클라이언트에서의 마운트 명령 예시(물론 /tmp/nfs는 OS상에 미리 mkdir /tmp/nfs로 만들어 두어야함)..  

  sudo mount -t nfs -o vers=3,proto=tcp,nolock xxx.xxx.xxx.xxx:/DATA/TEST/NFS /tmp/nfs


마운트된 HDFS폴더는 Client쪽에서 권한/소유자/그룹등을 변경할 수 없다.

그래서 필요시 hdfs dfs 명령으로 권한등의 속성을 바꿔 주면 /tm/nfs에 즉시 반영된다. 


 


* Adding and Configuring the NFS Gateway Role

1. Go to the HDFS service.

2. Click the Instances tab.

3. Click Add Role Instances.

4. Click the text box below the NFS Gateway field. The Select Hosts dialog box displays.

5. Select the host on which to run the role and click OK.

6. Click Continue.

7. Click the NFS Gateway role.

8. Click the Configuration tab.

9. Select Scope > NFS Gateway.

10. Select Category > Main.

11. Ensure that the requirements on the directory set in the Temporary Dump Directory property are met.

   To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

12. Optionally edit Allowed Hosts and Privileges.

   To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

13. Enter a Reason for change, and then click Save Changes to commit the changes.

14. Click the Instances tab.

15. Check the checkbox next to the NFS Gateway role and select Actions for Selected > Start.

번호 제목 날짜 조회 수
67 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 2345
66 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 2634
65 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 2707
64 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 2017.01.25 2763
63 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 2779
62 namenode오류 복구시 사용하는 명령 2016.04.01 2851
61 Incompatible clusterIDs오류 원인및 해결방법 2016.04.01 2948
60 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 2998
59 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 3004
58 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 3037
57 format된 namenode를 다른 서버에서 다시 format했을때 오류내용 2016.09.22 3085
56 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 3114
55 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 2016.09.24 3172
54 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 2017.09.14 3215
53 hadoop클러스터를 구성하던 서버중 HA를 담당하는 서버의 hostname등이 변경되어 문제가 발생했을때 조치사항 2016.07.29 3254
52 Cleaning up the staging area file시 'cannot access' 혹은 'Directory is not writable' 발생시 조치사항 2017.05.02 3291
51 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 3336
50 Hadoop 완벽 가이드 정리된 링크 2016.04.19 3655
49 hadoop 어플리케이션을 사용하는 사용자 변경시 바꿔줘야 하는 부분 2016.09.23 3711
48 Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node 오류시 조치방법 2017.04.06 3781
위로