메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Service Monitor에서 사용하는 kudu metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법으로 Cloudera Manager->Kudu->Configuration에서 

Metric Filter에 아래와 같은 json포맷으로 등록해준다. 

kudu등에서 metric정보를 너무 많이 추출하여 Service Monitor로 보내게 되면 지정된 시간내에 수집이나 데이터 rollup등의 작업을 할 수 없어 각종 chart library에서 특히 12h, 1d 데이터가 표시되지 않게 된다.(12h, 1d는 TEN_MINUTELY rollup데이터를 사용함)

그래서 수집되는 metric대상을 줄여서 이런 부하를 경감하기 위해서 blacklist를 설정하여 준다. 


{"filterType":"blacklist",

"metrics": [

"kudu_active_scanners",

"kudu_all_transactions_inflight",

....

"kudu_write_transactions_inflight"

]

}

번호 제목 날짜 조회 수
361 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 2018.04.15 491
360 S2RDF를 실행부분만 추출하여 1건의 triple data를 HDFS에 등록, sparql을 sql로 변환, sql실행하는 방법및 S2RDF소스 컴파일 방법 2016.06.15 492
359 like검색한 결과를 기준으로 집계를 수행하는 java 소스 2016.12.19 493
358 source, sink를 직접 구현하여 사용하는 예시 2019.05.30 493
357 System Properties Comparison Elasticsearch vs. Hive vs. Jena file 2016.03.10 494
356 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 2018.01.25 494
355 fuseki가 제공하는 web ui를 통해서 dataset를 remove->create할 경우 동일한 동일한 이름으로 지정했을때 fuseki-server.jar가 뜨지 않는 현상 2017.02.03 495
354 fuseki에 update하는 방법(java api이용)및 주의 사항 2015.12.30 498
353 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 2022.05.02 498
352 [tomcat] logrotate를 이용하여 catalina.out로그파일 일별로 로테이션 저장하기 file 2017.01.18 499
351 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 502
350 update(update와 delete->insert)사용시 주의/참고사항 2016.01.06 504
349 Java 8에서 pom.xml에 JavaDoc 관련 태그가 설정되어 있으나 오류등으로 실패하면 나머지 Maven작업이 종료되는 문제 해결 방법 2017.01.24 504
» [Cloudera 6.3.4, Kudu]]Service Monitor에서 사용하는 metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법 2022.07.08 504
347 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 2022.03.21 505
346 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 507
345 DeviceType이 o:motion-sensor_33 이거나 o:motion-sensor_32 경우의 sparql문장은 다음과 같다. 2017.08.16 507
344 Hadoop - 클러스터 세팅및 기동 2015.04.28 509
343 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 2016.04.04 511
342 elasticsearch 기동시 permission denied on key 'vm.max_map_count' 오류발생시 조치사항 2017.06.23 511
위로