메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hadoop hfs gateway를 설정하고 Client 파일 시스템에서 mount하여 사용하는 방법이 아래와 같이 Cloudera Page에 설명되어 있다. 

주의할것은 export point를 지정해야 default로 HDFS의 최상위(/)가 노출되지 않는다. 

(예를 들어 HDFS상에 /DATA/TEST/NFS를 지정하려면 아래와 같이 설정한다.

  1. HDFS폴더 생성(순서대로 한단계씩 생성할것)

      hdfs dfs -mkdir /DATA/TEST/NFS

  2. 폴더에 권한 부여(777을 부여하고 sticky bit를 설정해서 여러 사용자가 이곳을 사용할 수 있도록 한다)

       hdfs dfs -chmod 777 /DATA/TEST/NFS

       hdfs dfs -chmod +t /DATA/TEST/NFS

  3. export point 항목에 DATA/TEST/NFS를 등록하고 저장/Hadoop NFS gateway를 restart하여 반영해준다. 

)


클라이언트에서의 마운트 명령 예시(물론 /tmp/nfs는 OS상에 미리 mkdir /tmp/nfs로 만들어 두어야함)..  

  sudo mount -t nfs -o vers=3,proto=tcp,nolock xxx.xxx.xxx.xxx:/DATA/TEST/NFS /tmp/nfs


마운트된 HDFS폴더는 Client쪽에서 권한/소유자/그룹등을 변경할 수 없다.

그래서 필요시 hdfs dfs 명령으로 권한등의 속성을 바꿔 주면 /tm/nfs에 즉시 반영된다. 


 


* Adding and Configuring the NFS Gateway Role

1. Go to the HDFS service.

2. Click the Instances tab.

3. Click Add Role Instances.

4. Click the text box below the NFS Gateway field. The Select Hosts dialog box displays.

5. Select the host on which to run the role and click OK.

6. Click Continue.

7. Click the NFS Gateway role.

8. Click the Configuration tab.

9. Select Scope > NFS Gateway.

10. Select Category > Main.

11. Ensure that the requirements on the directory set in the Temporary Dump Directory property are met.

   To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

12. Optionally edit Allowed Hosts and Privileges.

   To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

13. Enter a Reason for change, and then click Save Changes to commit the changes.

14. Click the Instances tab.

15. Check the checkbox next to the NFS Gateway role and select Actions for Selected > Start.

번호 제목 글쓴이 날짜 조회 수
461 LUBM 개수별 hadoop HDFS data사이즈 정리 총관리자 2017.04.06 146
460 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 총관리자 2018.05.22 146
» hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 총관리자 2022.01.07 146
458 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 147
457 update(update와 delete->insert)사용시 주의/참고사항 총관리자 2016.01.06 149
456 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 총관리자 2015.12.16 151
455 [jsoup]Jsoup Tutorial 총관리자 2017.04.11 151
454 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 총관리자 2018.04.17 151
453 이미지 관리 오픈소스 목록 총관리자 2018.03.11 153
452 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 총관리자 2018.06.01 153
451 test2 총관리자 2017.05.01 154
450 magento2 2.1.3을 수동으로 설치하는 방법 총관리자 2017.02.01 155
449 Cloudera의 API를 이용하여 impala의 실행되었던 쿼리 확인하는 예시 총관리자 2018.05.03 156
448 No broker partitions consumed by consumer thread오류 발생시 확인/조치할 사항 총관리자 2016.09.02 157
447 [PHP7.0]로그파일 위치 총관리자 2017.05.07 157
446 windows7에서 lagom의 hello world를 빌드하여 실행하는 경우의 로그(mvn lagom:runAll -Dscala.binary.version=2.11) 총관리자 2017.12.22 159
445 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 총관리자 2022.05.11 159
444 spark notebook 0.7.0설치및 설정 총관리자 2016.11.14 160
443 [CentOS] 네트워크 설정 총관리자 2018.03.26 160
442 schema.xml vs managed-schema 지정 사용하기 - 두개를 동시에 사용할 수는 없음 총관리자 2017.07.09 161

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로