Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

[ActiveDirectory]Get-ADGroupMember를 이용하여 그룹에 속하는 사용자 목록 추출하는 방법

관리자 — Thu, 12 Feb 2026 15:33:16 +0900

windows의 powershell에서 다음의 command를 수행하면 그룹명에 속하는 사용자를 추출 할 수있다. 1.한개 그룹 member들을 추출하여 csv파일에 저장 Get-ADGroupMember -Identity "그룹명" | Get-ADUser -Properties Title, Department | Select-Object Name, SamAccountName, Title, Department | Export-Csv -Path "C:\temp\GroupMembers.csv" -NoTypeInformation -Encoding UTF8 2. 여러 그룹을 한번에 조회 # 조회할 그룹 이름...

[CDP7.1.7SP1[Ranger Policy를 DB table에서 직접 수정하는 방법

관리자 — Wed, 26 Nov 2025 17:40:50 +0900

Ranger 정잭을 저장하는 table은 x_policy 이다.policy설정 정보는 policy_text 컬럼에 json형식으로 들어 있다. 1. Oracle의 경우 column이 속성이 clob이므로 다음과 같이 조회한다. select id, dbms_lob.substr(policy_text, dbms_lob.getlength(policy_text),1) from x_policy where name = 'test'; 2. json문자열을 추출하여 필요한 element를 수정후 다음과 같이 update한다. 예를들어, table을 여러개 지정하려면 table하위 ...

[CDP7.1.7] Ranger에서 DB단위로 귄한 부여시 특정 table을 제외하는 벙법

관리자 — Tue, 25 Nov 2025 17:55:31 +0900

[CDP7.1.7] Ranger에서 DB단위로 귄한 부여시 특정 table을 제외하는 벙법은 두가지가 있다. 1번. Policy 만들때 table 항목에 제외할 테이블 이름 넣고 우축 버튼을 Exclude로 변경해준다. 이렇게 하면 Hue의 table목록에서 사라진다. 2번. 별도의 Policy를 만들면서 하단의 Deny Conditions의 Select Group에 제한할 Group명을 지정한다. 이렇게 하면 table목록에는 사라지지 않고 select할때 권한 없다고 표시된다. (Permissions...

[HUE]CDP7.1.9SP1이상에서는 AD 계정에 매핑된 group이 없으면 Hue 로그인 자제가 안된다

관리자 — Tue, 25 Nov 2025 17:34:08 +0900

[AD]CDP7.1.9SP1이상에서는 AD 계정에 매핑된 group이 없으면 Hue 로그인 자제가 안된다. 이전 버젼까지는 로그인 잘 됬는데 이것 때문에 반나절의 시간을 보냈다.

test

관리자 — Sun, 16 Nov 2025 23:04:46 +0900

fff

[sql]table이 사용된 건수를 query history table에서 카운트 하는 방법

관리자 — Sun, 09 Nov 2025 10:16:35 +0900

예를 들어 bfp_fm_pc_zcvpcbm5101명칭의 table이 사용된 건수를 query history table의 query컬럼에서 카운트시 다음과 같이 수행한다. select 'bfp_fm_pc_zcvpcbm5101' as tname, account, last_modified, user_name ,partition_month, 'db_name' as db_gubun, (length(query)-length(regexp_replace(lower(query) ,'bfp_fm_pc_zcvpcbm5101', '')))/length('bfp_fm_pc_zcvpcbm5101') as a_count from admin.query_history where lo...

[AD]Active Directory의 모든 멤버 정보 추출하는 window powershell script

관리자 — Sun, 19 Oct 2025 16:14:45 +0900

Import-Module ActiveDirectory # 결과를 저장할 CSV 파일 경로 $OutputFile = "C:\AD_All_Group_Members.csv" # 모든 그룹을 가져와서 변수에 저장 $Groups = Get-ADGroup -Filter * -Properties SamAccountName # 결과를 저장할 빈 배열 생성 $Result = @() # 각 그룹을 순회하며 멤버 추출 foreach ($Group in $Groups) { # Get-ADGroupMember를 사용하여 그룹의 모든 멤버 가져오기 $Members = Get-ADGroupMember -Identity $Gr...

[Hue-Oozie]Hue에서 Oozie Coordinator를 export후 import시 "Problen installing fixture" 오류 발생시 조치

관리자 — Sun, 19 Oct 2025 16:06:22 +0900

Hue에서 Oozie coordinator를 export하고 다시 import할때 다음과 같은 오류가 발생하는데 연관이 있는 하위 workflow등이 존재하지 않아서 체크오류가 발생한것이다. 이때는 하위 workflow등를 찾아 먼저 import해주면 되지만 너무 일이 많이지므로 export하면서 만들어진 *.json파일에서 dependency부분을 수동으로 삭제후 import하면 오류 없이 import된다. *오류 내용 Problen installing fixture '/tmp/tmpaVJr6h.json': Docum...

엑셀에서 K ,M, G ,T 단위를 숫자로 변환 하는 수식

관리자 — Wed, 09 Apr 2025 16:43:57 +0900

=IF (OR(ISNUMBER(A1), ISBLANK(A1)), A1, VALUE(LEFT(A1,LEN(A1)-1)) * CHOOSE(MATCH(UPPER(RIGHT(A1,1)), {"K","M","G","T"}, 0), (1024), (1024*1024), (1024*1024*1024), (1024*1024*1024*1024) ) ) A1 이 대상 컬럼이고 숫자이거나 BLANK이면 그대로 표시하고 그외의 경우는 문자를 제외한 숫자를 추출하여 숫자로 변환 후 끝자리 문자를 MATCH하여 적절한 값으로 곱하기 해준다.

[Shellscript]Impala view의 실제 참조 테이블 추출용 shellscript파일

관리자 — Sat, 22 Mar 2025 15:25:18 +0900

#!/bin/bash ########################################## # Impala View - Physical Table 매핑 스크립트 ########################################## # === [환경 설정] === IMPALA_HOST="your_impala_host" # Impala 데몬 호스트 IMPALA_PORT="21050" # Impala 포트 (기본값: 21050) DATABASE="your_database" # 대상 데이터베이스 OUTPUT_FILE="view_table_mapping.txt" # 결과 출력 파일명 # === [오류 처리 함수] === error_...

테스트

관리자 — Sat, 22 Mar 2025 15:21:01 +0900

내용

추출3

관리자 — Wed, 05 Mar 2025 17:08:41 +0900

#!/bin/bash # 스크립트 설정 IMPALA_HOST="your_impala_host" # Impala 데몬 호스트 IMPALA_PORT="21050" # Impala 포트 (기본값: 21050) DATABASE="your_database" # 대상 데이터베이스 OUTPUT_FILE="view_table_mapping.txt" # 출력 파일명 # 오류 처리 함수 error_exit() { echo "ERROR: $1" >&2 exit 1 } # 필수 명령어 확인 command -v impala-shell >/dev/null 2>&1 || error_exit "impala-shell이 설치되어 있지 않습니다."...

추출2

관리자 — Wed, 05 Mar 2025 16:05:34 +0900

#!/usr/bin/env python3 import subprocess import sqlparse from sqlparse.sql import Identifier, IdentifierList # 설정 IMPALA_HOST = "your_impala_host" IMPALA_PORT = "21050" DATABASE = "your_database" OUTPUT_FILE = "view_table_mapping.txt" def run_impala_query(query): cmd = f"impala-shell -i {IMPALA_HOST}:{IMPALA_PORT} -d {DATABASE} -q '{query}' --quiet -B" result = subprocess.run(cmd, shell=True, cap...

추출

관리자 — Wed, 05 Mar 2025 11:23:26 +0900

#!/bin/bash # 사용법: ./extract_view_tables.sh <데이터베이스명> <뷰명> # 예시: ./extract_view_tables.sh impala-host my_db my_view if [ $# -ne 3 ]; then echo "사용법: $0 <데이터베이스명> <뷰명>" exit 1 fi IMPALA_HOST="$1" DATABASE="$2" VIEW_NAME="$3" # 뷰 이름 유효성 검사 if ! echo "$VIEW_NAME" | grep -q '^[a-zA-Z0-9_]+$'; then echo "오류: 뷰 이름은 알파벳, 숫자, 밑줄(_)만 포함해야 합니다." exit 1 f...

Apache Kudu에서 동일한 이름의 테이블을 반복적으로 DROP → CREATE → INSERT하는 로직을 2분 간격으로 10회 수행할 때 발생할 수 있는 주요 이슈

관리자 — Sun, 26 Jan 2025 23:07:59 +0900

Apache Kudu에서 동일한 이름의 테이블을 반복적으로 DROP → CREATE → INSERT하는 로직을 2분 간격으로 10회 수행할 때 발생할 수 있는 주요 이슈는 다음과 같습니다: 1. 메타데이터 동기화 문제 (Impala-Kudu 간 불일치) 증상: DROP TABLE 후 즉시 CREATE TABLE을 수행하면, Impala의 메타스토어가 Kudu의 변경 사항을 즉시 인식하지 못해 INSERT 시 "Table not found" 오류 발생. 원인: Impala는 메타데이터를 기본적으로 캐싱하...