메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Atlas WebUI에 접근시 아래와 같은 오류가 발생하면서 페이지에 503오류가 표시되면 다음과 같이 조치한다. 

 Ranager의 cm_hbase Policy에서 atlas_janus, ATLAS_HBASE_TABLES에 대한 권한(Create, Read, Write, Admin)을 atlas user에 부여해도 문제가 해결되지 않는다.


1. 오류원인 : atlas계정으로 atlas_janus hbase table에 접근시 CREATE권한을 확인하는데 해당 권한이 없어서 CREATE권한 오류가 발생한다. 

2. 조치 : atlas_janus및 ATLAS_ENTITY_AUDIT_EVENTS hbase table에 'RWXCA'권한을 부여해준다. 

3. 명령문

  - hbase계정으로 kinit수행 : sudo -u hbase kinit -kt /run/cloudera-scm-agent/process/1234567-hbase-MASTER/hbase.keytab hbase/node01.gooper.com

  - hbase shell 실행 : sudo -u hbase hbase shell

  - 테이블 목록 확인 : list

    TABLE

    ATLAS_ENTITY_AUDIT_EVENTS

    atlas_janus

    2 row(s)

    =>["ATLAS_ENTIRY_AUDIT_EVENTS", "atlas_janus"]

  - 권한 확인 : user_permission 'atlas_janus'

    User   Namespace,Table,Family,Qualfier:Permission

    0 row(s)

    Took 0.1803 seconds

  - atlas계정에 atlas_janus테이블의 권한(RWXCA)부여 : grant 'atlas','RWXCA','atlas_janus'

  - atlas계정에 ATLAS_ENTITY_AUDIT_EVENTS테이블의 권한(RWXCA)부여 : grant 'atlas','RWXCA','ATLAS_ENTITY_AUDIT_EVENTS' 

  - 부여된 권한 확인 : user_permission 'atlas_janus'

    User   Namespace,Table,Family,Qualfier:Permission

    atlas default.atlas_janus,,,:[Permission: Actions=READ,WRITE,EXEC,CREATE,ADMIN]

    1 row(s)

    Took 0.0349 seconds

4. Atlas서비스를 restart

5. Atlas WebUI에서 확인한다. 


*참고(atlas_janus hbase table에서 atlas의 권한회수)

  revoke 'atlas', 'RWXCA','atlas_janus'


*오류 내용

org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)]

번호 제목 글쓴이 날짜 조회 수
360 권한회수 및 권한부여 명령 몇가지 총관리자 2017.11.16 64
359 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 총관리자 2018.05.23 64
358 [TLS/SSL]Kudu Master 설정하기 총관리자 2022.05.13 65
» [Atlas Server]org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)] gooper 2023.05.15 67
356 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 총관리자 2016.05.31 68
355 HDFS에서 quota 설정 방법및 확인 방법 총관리자 2022.03.30 68
354 [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항 gooper 2023.03.10 68
353 [Impala jdbc]CDP7.1.7환경에서 java프로그램을 이용하여 kerberized impala cluster에 접근하여 SQL을 수행하는 방법 gooper 2023.08.22 68
352 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 70
351 hadoop 어플리케이션을 사용하는 사용자 변경시 바꿔줘야 하는 부분 총관리자 2016.09.23 70
350 kudu hms check 사용법(예시) 총관리자 2021.10.22 70
349 hbase startrow와 endrow를 지정하여 검색하기 샘플 총관리자 2016.12.07 71
348 Scala를 이용한 Streaming예제 총관리자 2018.03.08 71
347 Cloudera의 CMS각 컴포넌트의 역할 총관리자 2020.02.10 74
346 [impala]쿼리 수행중 발생하는 오류(due to memory pressure: the memory usage of this transaction, Failed to write to server) gooper 2022.10.05 74
345 How-to: Tune Your Apache Spark Jobs (Part 2) file 총관리자 2016.10.31 77
344 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 77
343 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 총관리자 2017.09.28 78
342 Components of the Impala Server 총관리자 2018.03.21 78
341 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 총관리자 2016.09.24 79

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로