메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. HDFS의 ACL을 Sentry와 연동후 테스트

  가. HDFS 폴더를 생성하고 권한을 771 이상으로 부여한다. (hive:hive로 설정하고 771이상을 주어야 sentry에서 제대로 통제를 할 수 있음)

     hdfs dfs -mkdir /DATA/GOOPER

     hdfs dfs -chown hive:hive /DATA/GOOPER

     hdfs dfs -chmod 771 /DATA/GOOPER

  나. hue에서 role및 데이터베이스를 생성하여 권한을 부여한다.

    create role rl_gooper_all;

    create database gooperdb;


    grant all on uri '/DATA/GOOPER' to role rl_gooper_all;

    grant all on database gooperdb to role rl_gooper_all;


2. 권한확인 

hdfs dfs -getfacl /DATA/GOOPER

 ->>>

# file : /DATA/GOOPER

# owner: hive

# group: hive

user:: rwx

group::rwx

other::r-x


3. hue에서 테이블 생성

  create table gooperdb.test (

  col1 string

)

location '/DATA/GOOPER/test';


4. 테이블 생성후 test HDFS폴더 권한 확인

hdfs dfs -getfacl /DATA/GOOPER/test

 ->>>

# file : /DATA/GOOPER/test

# owner: hive

# group: hive

user:: rwx

group::---

group::rl_gooper_all:rwx

user:hive:rwx

group:hive:rwx

mask::rwx

other::--x


5. 현상태에서 test HDFS폴더 삭제 테스트

sudo -u aaa -kt /var/lib/keytab/aaa.keytab aaa

sudo -u aaa hdfs dfs -rm -r /DATA/GOOPER/test

----> rm: Failed to move to trash: hdfs://nameservice1/DATA/GOOPER/test : Permission denied: user=aaa, access=WRITE, inode="/DATA/GOOPER":hive:hive:drwxrwxr-x

번호 제목 날짜 조회 수
541 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 307
540 pom.xml에서 build.gradle로 변환 2015.09.14 310
539 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 2017.01.12 311
538 /etc/logrotate.d 을 이용한 catalina.out 나누기 file 2017.01.19 311
537 federated query 예제 2017.01.19 311
536 RDF4J의 RESTFul API처리 클래스 소스 파악(web module위주) 2017.08.30 312
535 각 서버에 설치되는 cloudera서비스 프로그램 목록(CDH 5.14.0의 경우) 2018.03.29 313
534 elasticsearch에서 모든 인덱스(색인)을 삭제하는 방법 2019.06.09 313
533 프로그래밍 언어별 딥러닝 라이브러리 정리 file 2016.10.05 314
532 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 2018.07.15 315
531 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 317
530 숭실대 교수님등 강의영상(바이오데이터마이닝, 빅데이터분산컴퓨팅, 컴퓨터 그래픽스, 데이터베이스응용및 프로그램밍, 데이터베이스, 의생명영상처리, 웹그로그래밍, 데이터마이닝, 컴퓨터구조) file 2017.06.13 317
529 [vi]블럭 및 문서내 복사등에 관련된 명령어 2017.02.17 318
528 Jena는 기본적으로 multi thread환경을 지원하지 않는다. 2016.08.16 319
527 [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다. 2022.07.29 319
526 [Active Directory] AD Kerberos보안 설정 변경 방법 (Maximum lifetime for user ticket, Maximum lifetime for user ticket renewal) 2024.03.12 319
525 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 2016.08.09 320
524 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 2016.08.12 321
523 VPS에서는 root로 실행해도 swap파일을 만들지 못하게 만들어 두었지만 swap파일을 생성하는 방법 2017.06.20 321
522 mongodb 2.6.6 설치(64bit) 2015.09.30 323
위로