메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


.bashrc 혹은 /etc/profile파일에
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_CLASS_PATH=$HIVE_CONF_DIR
와 같이 설정하면 아래와 같이 Tracking URL = N/A가 된다.

------------오류내용-------------
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1434450909349_0013, Tracking URL = N/A
Kill Command = /hadoop/hadoop/bin/hadoop job  -kill job_1434450909349_0013
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2015-06-17 19:45:49,914 Stage-1 map = 0%,  reduce = 0%
2015-06-17 19:45:57,168 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 8.51 sec
2015-06-17 19:46:05,434 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 11.09 sec
MapReduce Total cumulative CPU time: 11 seconds 90 msec

번호 제목 날짜 조회 수
107 hadoop 설치(3대) file 2013.03.07 4670
106 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 2017.12.28 4677
105 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 4685
104 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 2017.05.01 4698
103 Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 4700
102 hive metadata(hive, impala, kudu 정보가 있음) 테이블에서 db, table, owner, location를 조회하는 쿼리 2020.02.07 4702
101 기준일자 이전의 hdfs 데이타를 지우는 shellscript 샘플 2019.06.14 4705
100 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. 2023.03.10 4705
99 [EncryptionZone]User:hdfs not allowed to do 'DECRYPT_EEK on 'enc_key'오류 2023.11.02 4714
98 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 4716
97 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 2022.03.17 4737
96 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 4749
95 [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항 2023.03.10 4773
94 Hadoop 설치 및 시작하기 file 2013.03.06 4776
93 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 2022.03.21 4793
92 hbase에 필요한 jar들 2013.04.01 4800
91 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 4803
90 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 2017.06.30 4812
89 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 4813
88 hadoop 클러스터 실행 스크립트 정리 2018.03.20 4814
위로