메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP Embedded PostgreSql설정을 외부의 MariaDB로변경하기

총관리자 2018.05.22 23:08 조회 수 : 420

1. cloudera에서 사용하는 db를 외부 db정보로 변경한다.

  cloudera MANAGER -> Clusters->Configuration->Database Settings에서 각각 변경시켜준다.

  (rm /etc/cloudera-scm-server/db.mgmt.properties를 실행시켜 주어야 db설정정보가 없어져서 다시 설정할 수 있게된다.)


2. 외부 db에 db밑 테이블 생성

가. Hue

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Hue Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Synchronize database (테이블 생성)


나. Oozie

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Server Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Database Tables (테이블 생성)


다. Navigator Audit Server


라 Hive

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore Database (db생성)

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore database tables (테이블 생성)


  // hive-site.xml에 설정되는 값을 기준으로 설정할때 사용됨

  cloudera MANAGER -> Clusters -> Hive-> Configuration-> Auto Create and Upgrade Hive Metastore Database Schema (db생성)


3. db를 직접생성하는 방법및 생성 대상(mysql에 접속하여 필요한 db및 사용자를 생성하고 변경사항을 반영한다.(flush privileges;)) -필요시 실행

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'rman_password';

create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive_password';

create database sentry DEFAULT CHARACTER SET utf8;
grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry_password';

create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'nav_password';

create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'navms_password';

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'hue_password';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie_password';

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'scm_password';

* SCM DB접속 정보는 아래 파일에 있음
sudo vi  /etc/cloudera-scm-server/db.properties

4. scm용 db생성(cloudera-scm-server가 설치된 곳에서 아래의 script를 실행시켜준다.)

*참고 : https://www.gooper.com/ss/bigdata/6524


sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -h gsda3 -P 3306 -utest -ptest --scm-host gsda1 scm scm scm_password

-->실행결과

JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing:  /usr/lib/jvm/java-7-oracle-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

[2018-05-22 23:05:24,063] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.

All done, your SCM database is configured correctly!



* 기타참고

https://community.cloudera.com/t5/Cloudera-Manager-Installation/scm-prepare-database-sh/td-p/23423


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Configure-Cloudera-Manager-with-external-database-AWS-RDS-MySQL/m-p/52582#M9958


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Foreign-Key-issue-creating-SCM-repository-in-MySQL-database/td-p/2523

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
541 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 627
540 Spark 1.6.1 설치후 HA구성 2016.05.24 731
539 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 859
538 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 1133
537 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 165
536 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 387
535 RDF storage조합에대한 test결과(4store, Jena+HBase, Hive+HBase, CumulusRDF, Couchbase) 페이지 링크 2016.05.26 276
534 CentOS6에 python3.5.1 소스코드로 빌드하여 설치하기 2016.05.27 439
533 S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함) [2] file 2016.05.27 135
532 python실행시 ValueError: zero length field name in format오류 해결방법 2016.05.27 526
531 python 2.6.6에서 print 'A=' 형태의 사용이 python 3.5.1에서 오류(SyntaxError: Missing parentheses in call to 'print') 발생함.. 2016.05.27 333
530 DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 2016.05.27 141
529 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 218
528 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 615
527 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 660
526 centos에 sbt 0.13.5 설치 2016.05.30 355
525 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 504
524 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 2016.06.02 143
523 Windows에서 sbt개발환경 구축 방법(링크) 2016.06.02 178
522 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 5294
쓰기 태그
위로