메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Kudu의 metric수집 옵션이 활성화된 상태에서 Cloudera Manager의 Chart Builder를 이용하여 테이블별 사용량을 다음의 방법으로 알수 있는데 테이블명에 Schema명도 같이 있으므로 이를 이용하면 Schema별 사용량도 파악할 수 있다.


Chart Builder에서 쿼리에 select max(total_kudu_on_disk_size_across_kudu_replicas) where category=KUDU_TABLE해서 csv데이터를 저장하면 entityName, metricName, timestamp, value순서로 값이 추출된다.

(예, impala::test_db.test_table (Kudu), max(.....), 2022-07-14T01:21:14.214Z, 2345123)

추출된 데이터를 엑셀에 넣어서 ","를 기준을 기준으로 텍스트 나누기 하면 필요한 데이터를 얻을 수 있다.

또한 entityName에 포함된 schema를 "."를 기준으로 텍스트 나우기 하면 Schema및 테이블별로 사용량을 알 수도 있다. 


 


번호 제목 글쓴이 날짜 조회 수
281 LUBM 데이타 생성구문 총관리자 2017.07.24 145
280 LUBM 개수별 hadoop HDFS data사이즈 정리 총관리자 2017.04.06 145
279 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 총관리자 2017.02.03 145
278 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 총관리자 2015.12.22 145
277 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 144
276 SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. 총관리자 2015.09.30 142
275 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 총관리자 2016.05.27 141
274 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 총관리자 2020.06.05 139
273 바나나 파이의 /tmp폴더를 외장하드로 변경하기 총관리자 2015.07.24 139
272 scala application 샘플소스(SparkSession이용) 총관리자 2018.03.07 138
271 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 138
270 halyard 1.3의 console을 이용하여 100억건의 데이타에 대한 쿼리수행시 ScannerTimeoutException 발생시 조치사항 총관리자 2017.09.06 136
269 한번에 여러값 update하기 총관리자 2016.01.13 136
268 jena jar파일실행시 org.apache.jena.tdb.TDB.init에서 java.lang.NullPointerException발생시 조치사항 총관리자 2016.08.19 134
267 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 132
266 [TLS]pkcs12형식의 인증서 생성및 jks형식 인증서 생성 커맨드 예시 총관리자 2022.03.15 131
265 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 총관리자 2017.03.30 131
264 like검색한 결과를 기준으로 집계를 수행하는 java 소스 총관리자 2016.12.19 131
263 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 총관리자 2016.08.11 130
» [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 127

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로