메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


impala-shell을 포함한 shellscript 프로그램이 정상적으로 잘 수행되다가 가끔 "-k requires a valid kerberos ticket but no valid kerberos ticket found."와 같은 오류가 발생하면서 impala-shell수행이 실패하는 경우가 있다. (테스트를 위해서 kinit직후 kdestroy를 수행하고 이어서 impala-shell을 수행하면 동일한 메세지가 발생한다)
shellscript파일에는 최상단에 kinit을 수행하고 impala-shell을 여러번 수행하는 구조로 되어 있는데 kinit직후의 첫번째 impala-shell이 아래의 오류가 발생하면서 실패하고 나머지는 정상 수행된다. 
impala_shell.py은 내부에서 kerberos인증의 경우 "klist -s"명령으로 테스트를 수행하는데 kinit직후에 수행되는 "klist -s"명령이 유효 기간을 제대로 인식하지 못하는 경우가 발생하는거 같다.
그래서 다음과 같이 kinit후에 "klist -s"를 수행해서 실패시 10초간 대기 하도록 하는 로직을 추가해 줄 필요가 있다.

kinit -k -t /var/lib/keytab/gooper.keytab gooper
if ! klist -s
then
  echo "'klist -s' test fail"
  sleep 10
else
  echo "'klist -s' test succeed"
fi


* 오류 메세지 유형
1. 
Error connecting: TTransportException, Could not start SASL: Error in sasl_client_start (-1) SASL(-1): 
 generic failure: GSSAPI Error: Unspecified GSS failure.  
Minor code may provide more information (Matching credential not found (filename: /tmp/krb5cc_1398802835))
2. 
Starting Impala Shell using Kerberos authentication
Using service name 'impala'
-k requires a valid kerberos ticket but no valid kerberos ticket found.
3. 
Error connecting: TTransportException, Could not start SASL: Error in sasl_client_start (-1) SASL(-1): 
 generic failure: GSSAPI Error: Unspecified GSS failure.  
Minor code may provide more information (No Kerberos credentials available: Bad format in credentials cache (filename: /tmp/krb5cc_1398802835))
Not connected to Impala, could not execute queries.

번호 제목 날짜 조회 수
440 [Ranger]RangerAdminRESTClient Error gertting pplicies; Received NULL response!!, secureMode=true, user=rangerkms/node01.gooper.com@ GOOPER.COM (auth:KERBEROS), serviceName=cm_kms 2023.06.27 73
439 [Encryption Zone]Encryption Zone에 생성된 table을 select할때 HDFS /tmp/zone1에 대한 권한이 없는 경우 2023.06.29 83
438 [EncryptionZone]User:testuser not allowed to do "DECRYPT_EEK" on 'testkey' 2023.06.29 89
437 [Impala] alter table구문수행시 "WARNINGS: Impala does not have READ_WRITE access to path 'hdfs://nameservice1/DATA/Temp/DB/source/table01_ccd'" 발생시 조치 2024.04.26 98
436 CM의 Impala->Query tab에서 FINISHED query가 보이지 않는 현상 2021.08.31 99
435 [Hue metadata]Oracle에 있는 Hue 메타정보 테이블을 이용하여 coordinator와 workflow관계 목록을 추출하는 방법 2023.08.22 99
434 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. 2022.05.16 103
433 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 2023.07.26 104
432 [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 2023.07.17 108
431 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 2024.01.15 110
430 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 116
429 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 118
428 Cloudera Manager 5.x설치시 embedded postgresql를 사용하는 경우의 관리정보 2018.04.13 119
427 [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 2023.11.01 121
426 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 122
425 [kerberos]Kerberos HA구성 참고 페이지 2022.08.31 124
424 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 127
423 [Kerberos]병렬 kinit 호출시 cache파일이 손상되어 Bad format in credentials cache 혹은 No credentials cache found 혹은 Internal credentials cache error 오류 발생시 2023.01.20 127
422 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 131
421 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 132
위로