Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
kudu kudu table와 impala(hive) table정보가 틀어져서(예, alter table rename) 테이블을 읽지 못하는 경우(Error Loading Metadata) 조치방법
예를들어 kudu table인 admin.hue_user_dept 테이블을 admin.hue_user_dept_old로 rename할때 HDFD권한등에 의해서 오류가 발생하여 메타정보가 틀어진 경우에는 다음과 같이 조치한다.
(Hue에서 alter table rename을 할때 HDFS폴더에 impala에게 권한이 없어 kudu table명은 변경되고 HDFS명 변경시 오류가 발생하면서 메타정보가 틀어지는 경우가 있음)
1. admin DB의 ID를 확인한다.
select * from hive.dbs where name='admin';
--> 7973
2. hive.tbls에서 현재 테이블의 ID및 table명을 확인한다.
select * from hive.tbls where tbl_name like '%hue_user_dept%' and db_id=7973;
--> 102504 1671852408 7973 0 hadoop USER 0 2941304 hue_user_dept EXTERNAL_TABLE 0 0
3. hive.table_params에서 현재 kudu table정보를 확인한다.
select * from hive.table_params where param_key='kudu.table_name' and param_value like 'impala::admin.hue_user_dept%';
--> 102504 kudu.table_name impala::admin.hue_user_dept
4. 만일의 사태를 대비하여 기존 테이블은 backup해둔다.
create table hive.tbls_20231109 as select * from hive.tbls;
create table hive.table_params_20231109 as select * from hive.table_params;
5. hive.tbls정보를 변경하려 했던 table정보로 update한다.
update hive.tbls set tbl_name='hue_user_dept_old' where tbl_name ='hue_user_dept' and tbl_id=102504 and db_id=7973;
5. hive.table_params정보를 변경하려던 table 정보로 update한다.
(특히 kudu table 이름에 대문자가 섞여 있을 수 있으므로 반드시 kudu master webui에서 확인해서 동일한 형태로 변경해줘야 오류가 발생하지않는다)
update hive.table_params set param_value='impala::admin.hue_user_dept_old' where param_key='kudu.table_name' and tbl_id=102504 and to_char(param_value)= 'impala::admin.hue_user_dept';
*참고 :
hue에서 invalidate metadata admin.hue_user_dept;와 invalidate metadata admin.hue_user_dept_old; 를 수행해야 이전 table은 목록에서 사라지고 새로운 테이블이 정상적으로 조회된다.
