메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Service Monitor에서 사용하는 kudu metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법으로 Cloudera Manager->Kudu->Configuration에서 

Metric Filter에 아래와 같은 json포맷으로 등록해준다. 

kudu등에서 metric정보를 너무 많이 추출하여 Service Monitor로 보내게 되면 지정된 시간내에 수집이나 데이터 rollup등의 작업을 할 수 없어 각종 chart library에서 특히 12h, 1d 데이터가 표시되지 않게 된다.(12h, 1d는 TEN_MINUTELY rollup데이터를 사용함)

그래서 수집되는 metric대상을 줄여서 이런 부하를 경감하기 위해서 blacklist를 설정하여 준다. 


{"filterType":"blacklist",

"metrics": [

"kudu_active_scanners",

"kudu_all_transactions_inflight",

....

"kudu_write_transactions_inflight"

]

}

번호 제목 날짜 조회 수
381 2개 data를 join하고 마지막으로 code정보를 join하여 결과를 얻는 mr 프로그램 2014.06.30 467
380 DB별 JDBC 드라이버 2015.10.02 467
379 Class.forName을 이용한 메서드 호출 샘플소스 2016.12.21 467
378 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 2018.04.17 467
377 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 2018.05.30 468
376 kafka에서 메세지 중복 consume이 발생할 수 있는 상황 2018.10.23 469
375 halyard 1.3을 다른 서버로 이전하는 방법 2017.07.05 470
374 [Kudu] tablet server 혹은 kudu master가 어떤 원인에 의해서 replica가 failed상태인 경우 복구하는 방법 2021.05.24 473
373 Hue Load Balancer를 L4로 L/B하는 경우는 L4쪽 도멘인으로 발행된 인증서를 TLS/SSL항목에 설정해주어야 한다. 2021.10.08 474
372 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 475
371 RHEL 7.4에 zeppelin 0.7.4 설치 2018.07.31 482
370 Permission denied: user=hadoop, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx--- 오류해결방법 2015.05.17 484
369 console명령과 API비교 2015.12.21 484
368 Windows7 64bit 환경에서 ElasticSearch 5.6.3설치하기 2017.10.13 485
367 VisualVM 1.3.9을 이용한 JVM 모니터링 file 2016.10.27 486
366 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 2022.03.17 487
365 namenode오류 복구시 사용하는 명령 2016.04.01 489
364 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 489
363 ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 2015.12.08 490
362 sparql 문법구조 설명 file 2015.12.09 490
위로